티스토리

Dive into Data Science

검색하기

블로그 홈

Dive into Data Science

dive-into-ds.tistory.com/m

고슴군 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

RNN Auto-Encoder (RAE) RNN Auto-Encoder (RAE) : 순차 데이터를 복원하는 오토 인코더 공감수 0 댓글수 0 2022. 10. 8.
Attention in RNN (Bahadanau, Luong) Attention 어느 시점 정보가 RNN의 최종 출력 값에 영향을 미치는지를 알려줄 수 있는 메커니즘 ① 각각의 hidden state가 어느 정도의 중요도를 갖는지(=attention score) 산출하는 NN ② α = attention score ③ 기존 hidden state를 그대로 가져오는게 아니라, 현재 시점의 output을 만드는데 중요하게 역할을 하는 시점이 어느 시점인지를 scalar 값으로 산출하고, 이렇게 산출된 scalar 값(α)과 hidden state 들을 선형 결합해서 하나의 vector로 표현함 → context vector Luong attention은 attention score를 따로 학습하지는 않지만, Bahdanau attention 의 성능과 크게 차이가 나지.. 공감수 1 댓글수 0 2022. 10. 7.
Ensemble model - CatBoost Gradient Boosting Model (GBM)의 Background 마지막 행 : negative gradient는 잔차를 의미한다. 잔차를 target value로 두고 squared loss를 최소화하는 함수를 찾아내는 것. train data에 대한 t-1 시점의 함수값과 test data에 대한 t-1 시점의 함수값이 shift 된다, 다르다는 것. 같아야 통계적으로 좋은 모델이다. Gradint Boosting의 두 번째 issue Ordered TS 만약, categorical 변수의 값이 c 인게 1개 있으면, TS로 계산하면 1이 된다 이 경우를 우려하는 거다. outlier로 c가 1개 들어왔는데, TS로 계산하면 1의 값을 가지게 된다. 그래서 a와 p라는 파라미터를 사용하여 s.. 공감수 0 댓글수 0 2022. 7. 22.
Ensemble model - LightGBM Microsoft 에서 개발 되었고, XGBoost 보다 나중에 제안된 모델 Category 변수가 많은 데이터에 대해서 상당한 효과를 보는 알고리즘이다. 데이터의 특성을 잘 살펴서, 범주형 변수가 많을 경우 LightGBM을 우선순위로 염두에 두는 것도 좋다. 그래서 XGBoost에서도 모든 데이터를 스캔하지 않고, 부분부분으로 나누어서 스캔했었다. Gradient-based One-Side Sampling (GOSS) 상대적으로 gradient가 클 수록, 많이 틀렸다는 의미이니까 걔네들에 대한 정보를 많이 반영해야함 graidnet가 작을수록 틀린 정도가 크지 않기 때문에 해당 데이터 포인트들은 다음 모델을 구축할 때 덜 중요하게 생각되어도 된다. 따라서, Large gradient를 가진 데이터는.. 공감수 0 댓글수 0 2022. 7. 22.
Ensemble model - XGBoost XGBoost : A Scalable Tree Boosting System XGBoost는 Gradient Boosting Machine 인데, 어떻게 하면 제한된 computing resource 하에서 좀더 빠르게 더 많은 데이터를 활용할 수 있을까 고민해낸 technique 이라고 보면 된다. GBM이 가지고 있는 장점을 다 흡수했기 때문에, XGBoost를 더 많이 사용한다. XGBoost : An optimized versioni of GBM enabling GBM에 대한 opimized version. 소프트웨어적인 부분 뿐만 아니라 하드웨어적인 부분도 최적화. Split Finding Algorithm Decision tree는 위와 같이 각 변수를 오름차순 정렬한 후에, 하나씩 분기를 지정.. 공감수 0 댓글수 0 2022. 7. 9.
Ensemble model - GBM (Gradient Boosting Machine) Random Forest와 함께 굉장히 널리 사용되는 기법 중 하나 GBM에서 파생된 중요 알고리즘 세 가지 : XGBoost, LightGBM, CatBoost Gradient Boosting = Gradient Descent + Boosting Motivation (for regression problem) (classification도 가능) 만일 회귀 모형의 잔차를 다음 단계에서 학습하는 모델을 구축한다면? 즉, 현재 모델이 못 맞춘 것 만큼만 맞추는 모델을 만들어서 결합하면 맞출 수 있는것 아닌가? 핵심 아이디어 즉, 충분히 에러값이 작아질 때까지 모델을 충분히 만들어서 합하면 되지 않나? (y=f1(x)+f2(x)+...) Adaboost는 못 맞추는 객체의 선택 확률값을 조정해서, 즉 선택 .. 공감수 0 댓글수 0 2022. 7. 7.
Ensemble model - Adaboost (Adaptive Boosting) Strong models v.s. Weak models Weak model이란 랜덤 모델에 비해 약간의 성능 개선이 있는 모델을 의미하며, 이 모델은 적절한 조치를 취함으로 인해 성능이 우수한 모델로 boosted 될 수 있음 Adaboost (Adaptive boosting)는 weak learner을 base learner로 사용함 Adaboost는 weak model 중에서도 stumpt tree를 사용함 stumtp tree : split을 1회만 하는 tree 그냥 DT 사용해도 된다. 어떤 알고리즘을 사용해도 가능하다. 예측하지 못한 샘플의 선택 확률만 증가시키면 되는 것. bagging은 병렬적으로 boostrap 만들고 학습 가능했다. boost 기법은 sequential하게 간다. 현재 .. 공감수 0 댓글수 0 2022. 7. 7.
Ensemble model - Bagging Bagging : Bootstrap Aggregating 앙상블의 각 멤버(모델)는 서로 다른 학습 데이터셋을 이용 각 데이터셋은 복원 추출(sampling with replacement) 를 통해 원래 데이터의 수 만큼의 크기를 갖도록 샘플링 개별 데이터셋을 붓스트랩(bootstrap)이라 부름 이론적으로 한 개체가 하나의 붓스트랩에 한번도 선택되지 않을 확률 즉, 하나의 붓스트랩에 약 2/3 샘플이 선택되어 들어가 있음 선택되지 않은 샘플 : Out Of Bag (OOB) 개별 모델의 분산은 높고 편향이 낮은 알고리즘 (복잡도가 높은 알고리즘)에 적절함 (인공신경망, SVM(RBF, kernel width가 작은) 등) ***** 배깅은 학습 데이터의 분포를 왜곡해서 noise를 주기 때문에, noi.. 공감수 0 댓글수 0 2022. 7. 5.
Ensemble model - 핵심 아이디어/효과, 배깅-부스팅 비교 앙상블의 목적 : 다수의 모델을 학습하여 오류의 감소를 추구 분산의 감소에 의한 오류 감소 : 배깅(Bagging), 배깅의 special case인 랜덤 포레스트(Random Forest) 편향의 감소에 의한 오류 감소 : 부스팅(Boosting) - Adaboost, GBM, XGboost, LightGBM, Catboost 등 분산과 편향의 동시 감소 : Mixture of Experts - 존재하기는 하나, 실제로 모델링할 때 control이 상당히 어려움 앙상블 구성의 두 가지 핵심 아이디어 다양성(diversity)을 어떻게 확보할 것인가? 최종 결과물을 어떻게 결합(combine, aggregate)할 것인가? 앙상블의 효과 앙상블의 다양성 Implicit : train data를 다르게 s.. 공감수 0 댓글수 0 2022. 7. 5.
Anomaly Detection - Extended Isolation Forest Isolation Forest 첫번째 그림 : 구 형태로 등고선이 그려지는게 맞을 것 오른쪽 그림 : 정상 데이터가 없는데도 불구하고, 정상으로 판단할 수 있는 영역이 생김 마지막 그림 : sin 함수 곡선의 사이사이 모두 정상으로 판단 Extended IF 기존의 IF는 변수의 값으로 split 하기 때문에, 각 축에 대해서 수직 혹은 수평인 방향으로 split을 하게 됨 기울기를 적용하자. 기울기도 random하게 적용할 것이다. Example Standard IF : 항상 축에 수직인 직선을 이용해서 영역을 분할함 Extended IF : 분할하는 직선의 slope가 random하게 적용되어 분할 동그라미친 부분은 상대적으로 split을 많이 필요로 하는 구간이기 때문에 anomaly score가 .. 공감수 0 댓글수 0 2022. 7. 5.
Anomaly detection - AutoEncoder 활용 Auto-Encoder의 두 가지 활용 방식 1. 입력 정보와 AE의 출력 정보간 차이를 손실 함수로 정의하여 직접 이상치 탐지를 수행 2. 차원 축소의 목적으로 AE를 학습시킨 뒤, Latent vector를 다른 Anomaly Detection 모형의 input으로 사용 [참조] 강필성 교수님의 https://fastcampus.co.kr/data_academy_kps1 강의 자료를 참조했습니다. 공감수 0 댓글수 1 2022. 7. 5.
Anomaly detection - 밀도 기반 이상치 탐지 (Gauss, MoG, Parzen window) 목적 주어진 데이터를 바탕으로, Gaussian을 가정하여, 각 객체들이 생성될 확률을 추정 새로운 데이터가 생성될 확률이 낮을 경우 이상치로 판단 학습 : 주어진 정상 데이터들을 통해 가우시안 분포의 평균 벡터와 공분산 행렬을 추정 테스트 : 새로운 데이터에 대하여 생성 확률을 구하고 이 확률이 낮을수록 이상치에 가까운 것으로 판정함 장점 추정이 간단하며 학습시간이 짧음 (mu와 sigma만 추정하면 됨) 적절한 기준치(cut-off)를 분포로부터 정할 수 있음 정상 데이터의 95% 를 정상이라고 판단하기 위해서, cut-off를 어떻게 가져가야 하는지에 대해서 정확하게 대답할 수 있음 각 변수의 측정 단위에 영향을 받지 않음 어떤 센서는 100단위, 어떤 센서는 0.0x 단위일 때 공분산 행렬을 사용.. 공감수 1 댓글수 0 2022. 7. 5.
Anomaly detection - 평가지표 정오행렬 기반 평가지표 False Rejection Rate (FRR) : FP/(FP+TN) 원래는 정상이나 이상치 탐지 모델에 의해 이상치로 잘못 판별된(rejected) 비율 False Acceptance Rate (FAR) : FN/(TP+FN) 원래는 이상치라서 탐지가 되어야 하나 모델에 의해 탐지가 되지 못하고 정상으로 판별된(accepted) 비율 위의 방법은 cut-off value에 따라서 dependent하는 지표임 이상치 탐지 방법론 자체의 정합성을 평가할 때는 cut-off 에 영향을 받지 않는 성능 평가 지표가 필요함 AUROC와 Integrated Error 둘 중 하나를 사용하면 됨 cut-off value를 달리하면서, x축은 FRR, y축은 FAR을 도시한 그래프 Integ.. 공감수 0 댓글수 0 2022. 7. 5.
Anomaly detection - PCA, Autoencoder, GAN 간단하면서도 성능이 좋은 경우가 많아서, 현업(on-product)에 많이 활용됨 변수이 개수를 줄여서 압축함 original 데이터의 정보의 손실을 최소화하면서 압축되었다는 전제 복원 : 예를 들어, 5차원으로 압축된 것을 100차원으로 돌려놓는 것 X'은 압축된 데이터에서 복원하기 때문에, X와 X'이 같을 순 없다. Z에 정보가 대부분 보존되었다면 X와 X'은 매우 비슷할 것이다 X와 X'은 압축이 잘 되었다면 이론적으로 같을 수는 있지만, 현실적으로는 같을 수 없다. 손실된 것이 존재할 수 밖에 없음. 잘 복원되지 않은 데이터를 이상치라고 하는 것이다. original 데이터인 X 는 정상 데이터만 사용해서 학습해야 할 것이다. 따라서 정상 데이터가 들어오면 잘 복원하고 anomaly 데이터가 들.. 공감수 1 댓글수 0 2022. 7. 4.
Anomaly detection - 1-SVM, SVDD SVM 고차원의 함수로 매핑하여 분리할 수 있는 선형 식을 찾아서, original space로 project해서 비선형 식을 찾아내는 것 정상 데이터만을 이용하여 학습 정상데이터를 고차원 space로 변형하면, 정상 데이터들을 원점으로부터 멀리하는 decision boundary를 찾아내는 것 고차원에서 최대한 떨어지면서, 정상데이터를 잘 아우를 수 있는 선형식을 찾아내는 것이다. original로 project하면 비선형이 될 것이다. Lagrangian primal problem 을 적용하고 미분하고 Lagrangian dual problem을 적용하여 최적화 해 계산 (강의 참조) 최소 v*n개의 suppport vector 존재함. n은 컨트롤 못하고, v를 컨트롤해서 몇 개의 support v.. 공감수 0 댓글수 0 2022. 7. 2.
Anomaly detection - Local Outlier Factor (LOF) Local Outlier Factor (LOF) 꽤 nice한 아이디어다. 여러 아이디어 들의 기초가 된 아이디어라고 할 수 있다. 1. K-distance of object p 2. K-distance neighborhood of object p (N_k(p)) 3. Reachability Distance (Reachability distance_k(p, 0)) 오밀조밀하게 모여있으면, max 취해봤자 reachability distance는 크지 않을 것이다. p가 outlier라면, reachability distance는 큰 값이 나올 것이다. 4. Local reachability density of object p (lrd_k(p)) 분자값은 개수를 의미함. weight 라고 보면 된다. 원 .. 공감수 0 댓글수 0 2022. 6. 28.
Anomaly detection - 개요, 확률분포기반 Novelty vs Anomaly vs Outlier Novelty 데이터 : 데이터의 본질적인 특성은 같지만, 유형이 다른 관측치 일반 호랑이가 정상 데이터라고 할 때 백호 긍정의 의미를 가짐 Anomaly 데이터 : 대부분의 데이터와 특성이 다른 관측치 일반 호랑이가 정상데이터라고 할 때 라이거 (호랑이의 특성은 갖고 있음) 약간의 부정의 의미를 가짐 Novelty과 Anomaly를 구분하는 것은 어렵고, 이런 느낌의 차이가 있다는 것 Outlier 데이터 : 대부분의 데이터와 본질적인 특성이 다른 데이터 일반 호랑이가 정상 데이터라고 할 때 사자 큰 부정의 의미 분석에 부정적 영향 미치기 때문에, 제거 후에 분석해야 함 부정의 크기 : Novelty < Anomaly < Outlier Novelty.. 공감수 2 댓글수 0 2022. 6. 25.
MCMC (Markov Chain Monte Carlo) https://liveyourit.tistory.com/147 MCMC (Markov Chain Monte Carlo) 샘플링 MCMC는 진짜... 해도해도 이해가 안가고 할수록 더 이해가 안가는 모델인 것 같다.... 원래 논문 실험을 할 때 샘플링을 할 일이 있어서 (결국 안쓰게 됐지만) 그때 MCMC를 정리해놨던게 있는데 여기 liveyourit.tistory.com https://angeloyeo.github.io/2020/09/17/MCMC.html#mcmc%EC%9D%98-%EC%A0%95%EC%9D%98 Markov Chain Monte Carlo - 공돌이의 수학정리노트 angeloyeo.github.io https://www.secmem.org/blog/2019/01/11/mcmc/ ht.. 공감수 0 댓글수 0 2022. 2. 8.
상관계수 상관계수의 가정 - 두 변수의 관계가 선형성을 만족시켜야 한다. - 데이터가 등분산성을 충족시켜야 한다 - outlier가 없어야 한다. - 데이터가 절단되어 있지 말아야 한다. - 데이터가 정규분포여야 한다. (이론적으로는 그렇지만 실제로는 아닌 경우에도 사용함) [참조] https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=artquery&logNo=44943778 https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=chj1335033&logNo=221258402192 - Correlation in Time series In [6]: import pandas as .. 공감수 1 댓글수 1 2022. 1. 7.
Time-series forecasting at UBER [참조] www.youtube.com/watch?v=bn8rVBuIcFg&feature=emb_title 공감수 0 댓글수 0 2021. 3. 3.
Prophet gorakgarak.tistory.com/1255 모든이들을 위한 Facebook Prophet Paper 쉬운 요약정리 이글에서 분석해볼 paper는 [Forecasting at Scale] 으로, Facebook의 신기방기한 시계열 분석 라이브러리인 Prophet에 대한 설명이 있는 paper입니다. 논문으로는 20페이지가 넘어 읽기가 불편(?)할수 있어 gorakgarak.tistory.com predictor-ver1.tistory.com/4 머신 러닝으로 금 시세를 예측 해보자 feat. Prophet 1. Prophet에 대한 간단한 설명 2. Prophet 모델 구축 3. Prophet 파라미터 조정 1. Prophet에 대한 간단한 설명 Prophet은 Facebook에서 만든 시계열 예측.. 공감수 0 댓글수 0 2021. 2. 25.
return_state, return_sequences www.dlology.com/blog/how-to-use-return_state-or-return_sequences-in-keras/ How to use return_state or return_sequences in Keras | DLology Posted by: Chengwei 2 years, 9 months ago (Comments) You may have noticed in several Keras recurrent layers, there are two parameters, return_state ,and return_sequences. In this post, I am going to show you what they mean and when to use them in real www.dlol.. 공감수 0 댓글수 0 2021. 2. 2.
Generator, yield tech.ssut.me/what-does-the-yield-keyword-do-in-python/ Python의 yield 키워드 알아보기 이 글은 Stackoverflow "What does the yield keyword do in Python? (Python에서 yield 키워드는 무엇을 하나요?)"의 번역문입니다. 예재를 포함한 원문은 링크에서 확인해보실 수 있습니다. Python의 yield 키워드 알아 tech.ssut.me wikidocs.net/16069 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net 공감수 0 댓글수 0 2021. 1. 26.
Tensorflow 설치 eehoeskrap.tistory.com/293 [TensorFlow] Anaconda 가상환경 이용하여 TensorFlow GPU 설치 아나콘다 설치 후 1. 가상환경 생성 conda create -n 가상환경이름 python=3.6 2. 가상환경 Activation source activate 가상환경이름 3. TensorFlow GPU 설치 conda install -c anaconda tensorflow-gpu (2019년.. eehoeskrap.tistory.com laondev12.tistory.com/13 공감수 0 댓글수 0 2021. 1. 14.
RNN, LSTM ratsgo.github.io/natural%20language%20processing/2017/03/09/rnnlstm/ RNN과 LSTM을 이해해보자! · ratsgo's blog 이번 포스팅에서는 Recurrent Neural Networks(RNN)과 RNN의 일종인 Long Short-Term Memory models(LSTM)에 대해 알아보도록 하겠습니다. 우선 두 알고리즘의 개요를 간략히 언급한 뒤 foward, backward compute pass를 천천 ratsgo.github.io dgkim5360.tistory.com/entry/understanding-long-short-term-memory-lstm-kr Long Short-Term Memory (LSTM) 이해하기 이 글은 Ch.. 공감수 0 댓글수 0 2021. 1. 13.
Feature Scailing rfriend.tistory.com/270 [Python] 최소 최대 '0~1' 범위 변환 (scaling to 0~1 range) : sklearn.preprocessing.MinMaxScaler() 지난번 포스팅에서는 변수들의 척도(Scale)가 서로 다를 경우에 상호 비교를 위해서 표준화하는 방법으로서 - 정규분포를 따르는 데이터의 표준정규분포로의 표준화 (z standardization) (평균과 rfriend.tistory.com mkjjo.github.io/python/2019/01/10/scaler.html [Python] 어떤 스케일러를 쓸 것인가? * 본 포스트는 개인연구/학습 기록 용도로 작성되고 있습니다. By MK on January 10, 2019 데이터를 모델링하기 전에는 반드시.. 공감수 0 댓글수 2 2021. 1. 3.
Partial AutoCorrelation Function (PACF) m.blog.naver.com/PostView.nhn?blogId=schatz37&logNo=221406078729&proxyReferer=https:%2F%2Fwww.google.com%2F [시계열분석 09] 편자기상관함수(PACF, Partial AutoCorrelation Function) 이번 포스팅에서는 모델을 선정할 때의 기준이 되는 지표 중 하나인 편자기상관함수(PACF) 에 대해서 ... blog.naver.com 공감수 0 댓글수 0 2020. 12. 29.
Autocorrelation 이란? www.investopedia.com/terms/a/autocorrelation.asp Autocorrelation Autocorrelation represents the degree of similarity between a given time series and a lagged version of itself over successive time intervals. www.investopedia.com corporatefinanceinstitute.com/resources/knowledge/other/autocorrelation/ Autocorrelation - Overview, How It Works, and Tests Autocorrelation refers to the degree of corr.. 공감수 0 댓글수 0 2020. 12. 11.
VPC 란? medium.com/harrythegreat/aws-%EA%B0%80%EC%9E%A5%EC%89%BD%EA%B2%8C-vpc-%EA%B0%9C%EB%85%90%EC%9E%A1%EA%B8%B0-71eef95a7098 [AWS] 가장쉽게 VPC 개념잡기 가장쉽게 VPC 알아보기 medium.com docs.aws.amazon.com/ko_kr/vpc/latest/userguide/what-is-amazon-vpc.html Amazon VPC란 무엇인가? - Amazon Virtual Private Cloud Amazon VPC란 무엇인가? Amazon Virtual Private Cloud(Amazon VPC)를 이용하면 사용자가 정의한 가상 네트워크로 AWS 리소스를 시작할 수 있습니다. 이 가상 네트워크.. 공감수 0 댓글수 0 2020. 12. 8.
HTTP (HyperText Transfer Protocol) 란? velog.io/@surim014/HTTP%EB%9E%80-%EB%AC%B4%EC%97%87%EC%9D%B8%EA%B0%80 HTTP란 무엇인가? HTTP (HyperText Transfer Protocol) 텍스트 기반의 통신 규약으로 인터넷에서 데이터를 주고받을 수 있는 프로토콜이다. 이렇게 규약을 정해두었기 때문에 모든 프로그램이 이 규약에 맞춰 개발해서 서 velog.io medium.com/@lunay0ung/protocol-http%EB%9E%80-%EB%AC%B4%EC%97%87%EC%9D%BC%EA%B9%8C-84a896c5fc93 Protocol: HTTP란 무엇일까? 당신은 이 글을 인터넷으로 보고 있을 것이다. 나 또한 거의 대부분의 정보를 인터넷으로 확인한다. 모든 웹 상의 정보에 .. 공감수 0 댓글수 0 2020. 11. 29.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.