Dive into Data Science

Gradient Boosting Model (GBM)의 Background 마지막 행 : negative gradient는 잔차를 의미한다. 잔차를 target value로 두고 squared loss를 최소화하는 함수를 찾아내는 것. train data에 대한 t-1 시점의 함수값과 test data에 대한 t-1 시점의 함수값이 shift 된다, 다르다는 것. 같아야 통계적으로 좋은 모델이다. Gradint Boosting의 두 번째 issue Ordered TS 만약, categorical 변수의 값이 c 인게 1개 있으면, TS로 계산하면 1이 된다 이 경우를 우려하는 거다. outlier로 c가 1개 들어왔는데, TS로 계산하면 1의 값을 가지게 된다. 그래서 a와 p라는 파라미터를 사용하여 s..

Microsoft 에서 개발 되었고, XGBoost 보다 나중에 제안된 모델 Category 변수가 많은 데이터에 대해서 상당한 효과를 보는 알고리즘이다. 데이터의 특성을 잘 살펴서, 범주형 변수가 많을 경우 LightGBM을 우선순위로 염두에 두는 것도 좋다. 그래서 XGBoost에서도 모든 데이터를 스캔하지 않고, 부분부분으로 나누어서 스캔했었다. Gradient-based One-Side Sampling (GOSS) 상대적으로 gradient가 클 수록, 많이 틀렸다는 의미이니까 걔네들에 대한 정보를 많이 반영해야함 graidnet가 작을수록 틀린 정도가 크지 않기 때문에 해당 데이터 포인트들은 다음 모델을 구축할 때 덜 중요하게 생각되어도 된다. 따라서, Large gradient를 가진 데이터는..

XGBoost : A Scalable Tree Boosting System XGBoost는 Gradient Boosting Machine 인데, 어떻게 하면 제한된 computing resource 하에서 좀더 빠르게 더 많은 데이터를 활용할 수 있을까 고민해낸 technique 이라고 보면 된다. GBM이 가지고 있는 장점을 다 흡수했기 때문에, XGBoost를 더 많이 사용한다. XGBoost : An optimized versioni of GBM enabling GBM에 대한 opimized version. 소프트웨어적인 부분 뿐만 아니라 하드웨어적인 부분도 최적화. Split Finding Algorithm Decision tree는 위와 같이 각 변수를 오름차순 정렬한 후에, 하나씩 분기를 지정..

Random Forest와 함께 굉장히 널리 사용되는 기법 중 하나 GBM에서 파생된 중요 알고리즘 세 가지 : XGBoost, LightGBM, CatBoost Gradient Boosting = Gradient Descent + Boosting Motivation (for regression problem) (classification도 가능) 만일 회귀 모형의 잔차를 다음 단계에서 학습하는 모델을 구축한다면? 즉, 현재 모델이 못 맞춘 것 만큼만 맞추는 모델을 만들어서 결합하면 맞출 수 있는것 아닌가? 핵심 아이디어 즉, 충분히 에러값이 작아질 때까지 모델을 충분히 만들어서 합하면 되지 않나? (y=f1(x)+f2(x)+...) Adaboost는 못 맞추는 객체의 선택 확률값을 조정해서, 즉 선택 ..

Strong models v.s. Weak models Weak model이란 랜덤 모델에 비해 약간의 성능 개선이 있는 모델을 의미하며, 이 모델은 적절한 조치를 취함으로 인해 성능이 우수한 모델로 boosted 될 수 있음 Adaboost (Adaptive boosting)는 weak learner을 base learner로 사용함 Adaboost는 weak model 중에서도 stumpt tree를 사용함 stumtp tree : split을 1회만 하는 tree 그냥 DT 사용해도 된다. 어떤 알고리즘을 사용해도 가능하다. 예측하지 못한 샘플의 선택 확률만 증가시키면 되는 것. bagging은 병렬적으로 boostrap 만들고 학습 가능했다. boost 기법은 sequential하게 간다. 현재 ..

Bagging : Bootstrap Aggregating 앙상블의 각 멤버(모델)는 서로 다른 학습 데이터셋을 이용 각 데이터셋은 복원 추출(sampling with replacement) 를 통해 원래 데이터의 수 만큼의 크기를 갖도록 샘플링 개별 데이터셋을 붓스트랩(bootstrap)이라 부름 이론적으로 한 개체가 하나의 붓스트랩에 한번도 선택되지 않을 확률 즉, 하나의 붓스트랩에 약 2/3 샘플이 선택되어 들어가 있음 선택되지 않은 샘플 : Out Of Bag (OOB) 개별 모델의 분산은 높고 편향이 낮은 알고리즘 (복잡도가 높은 알고리즘)에 적절함 (인공신경망, SVM(RBF, kernel width가 작은) 등) ***** 배깅은 학습 데이터의 분포를 왜곡해서 noise를 주기 때문에, noi..

앙상블의 목적 : 다수의 모델을 학습하여 오류의 감소를 추구 분산의 감소에 의한 오류 감소 : 배깅(Bagging), 배깅의 special case인 랜덤 포레스트(Random Forest) 편향의 감소에 의한 오류 감소 : 부스팅(Boosting) - Adaboost, GBM, XGboost, LightGBM, Catboost 등 분산과 편향의 동시 감소 : Mixture of Experts - 존재하기는 하나, 실제로 모델링할 때 control이 상당히 어려움 앙상블 구성의 두 가지 핵심 아이디어 다양성(diversity)을 어떻게 확보할 것인가? 최종 결과물을 어떻게 결합(combine, aggregate)할 것인가? 앙상블의 효과 앙상블의 다양성 Implicit : train data를 다르게 s..

Isolation Forest 첫번째 그림 : 구 형태로 등고선이 그려지는게 맞을 것 오른쪽 그림 : 정상 데이터가 없는데도 불구하고, 정상으로 판단할 수 있는 영역이 생김 마지막 그림 : sin 함수 곡선의 사이사이 모두 정상으로 판단 Extended IF 기존의 IF는 변수의 값으로 split 하기 때문에, 각 축에 대해서 수직 혹은 수평인 방향으로 split을 하게 됨 기울기를 적용하자. 기울기도 random하게 적용할 것이다. Example Standard IF : 항상 축에 수직인 직선을 이용해서 영역을 분할함 Extended IF : 분할하는 직선의 slope가 random하게 적용되어 분할 동그라미친 부분은 상대적으로 split을 많이 필요로 하는 구간이기 때문에 anomaly score가 ..

Auto-Encoder의 두 가지 활용 방식 1. 입력 정보와 AE의 출력 정보간 차이를 손실 함수로 정의하여 직접 이상치 탐지를 수행 2. 차원 축소의 목적으로 AE를 학습시킨 뒤, Latent vector를 다른 Anomaly Detection 모형의 input으로 사용 [참조] 강필성 교수님의 https://fastcampus.co.kr/data_academy_kps1 강의 자료를 참조했습니다.

목적 주어진 데이터를 바탕으로, Gaussian을 가정하여, 각 객체들이 생성될 확률을 추정 새로운 데이터가 생성될 확률이 낮을 경우 이상치로 판단 학습 : 주어진 정상 데이터들을 통해 가우시안 분포의 평균 벡터와 공분산 행렬을 추정 테스트 : 새로운 데이터에 대하여 생성 확률을 구하고 이 확률이 낮을수록 이상치에 가까운 것으로 판정함 장점 추정이 간단하며 학습시간이 짧음 (mu와 sigma만 추정하면 됨) 적절한 기준치(cut-off)를 분포로부터 정할 수 있음 정상 데이터의 95% 를 정상이라고 판단하기 위해서, cut-off를 어떻게 가져가야 하는지에 대해서 정확하게 대답할 수 있음 각 변수의 측정 단위에 영향을 받지 않음 어떤 센서는 100단위, 어떤 센서는 0.0x 단위일 때 공분산 행렬을 사용..