Dive into Data Science

RNN Auto-Encoder (RAE)

고슴군 — Sat, 8 Oct 2022 14:22:52 +0900

RNN Auto-Encoder (RAE) : 순차 데이터를 복원하는 오토 인코더

Attention in RNN (Bahadanau, Luong)

고슴군 — Fri, 7 Oct 2022 19:17:40 +0900

Attention
- 어느 시점 정보가 RNN의 최종 출력 값에 영향을 미치는지를 알려줄 수 있는 메커니즘

① 각각의 hidden state가 어느 정도의 중요도를 갖는지(=attention score) 산출하는 NN

② α = attention score

③ 기존 hidden state를 그대로 가져오는게 아니라, 현재 시점의 output을 만드는데 중요하게 역할을 하는 시점이 어느 시점인지를 scalar 값으로 산출하고, 이렇게 산출된 scalar 값(α)과 hidden state 들을 선형 결합해서 하나의 vector로 표현함 → context vector

Luong attention은 attention score를 따로 학습하지는 않지만, Bahdanau attention 의 성능과 크게 차이가 나지 않기 때문에, Luong attention을 조금 더 효율적으로 사용할 수 있다.

Vanilla RNN (LSTM, GRU)

Luong attention
- Attention 이 있으면 context vector를 만들어낸다.

1. Attention score (α)

- score(h*, hi) 의 계산을, Bahdanau attention에서는 학습하지만, Luong attention 에서는 logic으로 계산한다.

- 가장 간단한 logic은 벡터의 내적. 벡터의 내적이 높다는 것은 두 벡터의 유사성이 높다는 것.

2. Context vector

3. Attention이 고려된 hidden state

- h* : decoder 단에서의 hidden state가 지금 하나라고 가정한 것

4. output 계산

- 분류 문제일 경우 softmax 취함

Decoder의 단계마다, α 값이 다르게 산출된다.

예시 : Blood pressure 예측

- 3개의 센서값을 이용(multivariate)해서 5초씩 window로 묶어서 예측한다.

- input data는 3개의 feature를 갖고 있는 것이고, 길이는 5초일 것

- blood pressure가 갑자기 높아졌을 때, attention score로 shading을 했을 때 영역이 다른 것을 볼 수 있다. 즉, 이러한 영역 안에서의 파동이나 패턴이 일반적인 상황과 어떻게 다른지 해석해볼 수 있는 것

Ensemble model - CatBoost

고슴군 — Fri, 22 Jul 2022 16:47:29 +0900

Gradient Boosting Model (GBM)의 Background
- 마지막 행 : negative gradient는 잔차를 의미한다. 잔차를 target value로 두고 squared loss를 최소화하는 함수를 찾아내는 것.

train data에 대한 t-1 시점의 함수값과 test data에 대한 t-1 시점의 함수값이 shift 된다, 다르다는 것.
- 같아야 통계적으로 좋은 모델이다.

Gradint Boosting의 두 번째 issue

Ordered TS

만약, categorical 변수의 값이 c 인게 1개 있으면, TS로 계산하면 1이 된다
- 이 경우를 우려하는 거다. outlier로 c가 1개 들어왔는데, TS로 계산하면 1의 값을 가지게 된다.
- 그래서 a와 p라는 파라미터를 사용하여 smoothing 시키게 된다.

이렇게 계산한 값 조차 target leakage를 피할 수는 없다.
- 이 외에도 target leakage를 피할 수 있는 기법에 대해 여러 제안이 있었지만 (강의에서는 설명함), 결국 target leakage를 피할 수 없었다.
- 이러한 약점을 보완하기 위해, catboost는 ordered TS를 사용한다.

Ordered TS
- 인공적인 시간을 도입해서, 인공적인 시간 순서를 가지고 와서 이것을 바탕으로 앞서서 존재하는 객체들의 값을 활용하여 계산한다.

Conditional shift를 방지하기 위해 ordered boosting을 사용한다.

XGBoost, LGBM, Catboost 중 상황에 따라서 최적의 모델이 다르기 때문에, 이 세 가지를 모두 자유롭게 활용할 수 있는 상태로 본인을 준비시키는게 좋은 전략이다.

Catboost 장단점
- https://velog.io/@tjddls321/CatBoost

[CatBoost란?]

GBM의 치명적인 문제점 중 하나로 과적합 문제가 존재합니다. 이 과적합 문제를 해결하면서 동시에 기존 GBM계열의 알고리즘인 XGBoost, LightGBM 알고리즘보다 학습 속도를 개선하는 장점을 앞세워 개발되었습니다.
- GBM은 최초의 데이터를 학습할 때만 예측값을 기반으로 하고 그 이후의 데이터를 학습할 때는 예측값을 활용해서 계산한 잔차에만 포커스를 맞추어서 학습하게 됩니다.
- 하지만 이렇게 잔차에만 포커스를 맞추어 학습하는 것이 매우 이상적이라고 보일지도 모르겠지만 모델이 본적 없는 데이터에는 예측을 잘 하지 못하는 과적합(Overfitting) 문제를 유발할 가능성이 매우 높다는 것이 치명적인 단점입니다.
범주형 변수의 예측모델에 최적화된 모델입니다.
기존의 그래디언트 부스팅 알고리즘을 조작하여 타겟 누수(target leakage)를 개선합니다.
- target leakage는 예측 시점에서 사용할 수 없는 데이터가 데이터셋에 포함되는 오류를 말합니다.
- 즉, 모델이 독립변수들인 x만을 활용하여 종속변수인 y를 예측해야 하는데, y에 대한 정보가 x에 포함되어 있는 경우를 말합니다.
- 기존의 그래디언트 부스팅 방법들은 손실함수를 target value에 대해 편미분한 그래디언트 값을 활용하기에 좋은 아이디어 같지만, target value를 활용하여 생기는 target leakage로 인해 training/test 데이터 셋의 output의 분포에 차이가 생기게 되고 오버피팅을 발생시킵니다.
- 즉, 다음 스텝의 트리를 만들 때, 이전에 사용했던 데이터를 다시 재사용하여 과적합이 쉽게 되었습니다.
XGBoost, LightGBM이 Hyper-parameter에 따라 성능이 달라지는 민감한 문제를 해결하는 것에도 초점을 맞추었습니다.

[Catboost의 장단점]

1. 장점

다른 GBM에 비해 overfitting이 적다.
범주형 변수에 대해 특정 인코딩 방식으로 인하여 모델의 정확도와 속도가 높습니다.
One-hot Encoding, Label Encoding 등 encoding 작업을 하지 않고도 그대로 모델의 input으로 사용할 수 있습니다.

2. 단점

missing data를 처리해주지 않습니다. (xgboost는 default로 missing value 처리해준다)
Sparse Matrix 즉, 결측치가 매우 많은 데이터셋에는 부적합한 모델입니다.
- 예를 들어, 추천시스템에 자주 사용되는 사용자-아이템 행렬 데이터를 살펴보면 보통 Sparse한 형태로 이루어져 있습니다. 만약 이러한 데이터를 활용하려면 Sparse한 특성이 없도록 Embedding을 적용한다던지 등 데이터를 변형한 후 CatBoost에 활용하는 것이 적합할 것입니다.
데이터 대부분이 수치형 변수인 경우, LightGBM보다 학습 속도가 느립니다. (즉 대부분이 범주형 변수인 경우 사용)

Ensemble model - LightGBM

고슴군 — Fri, 22 Jul 2022 14:56:39 +0900

Microsoft 에서 개발 되었고, XGBoost 보다 나중에 제안된 모델
Category 변수가 많은 데이터에 대해서 상당한 효과를 보는 알고리즘이다. 데이터의 특성을 잘 살펴서, 범주형 변수가 많을 경우 LightGBM을 우선순위로 염두에 두는 것도 좋다.

그래서 XGBoost에서도 모든 데이터를 스캔하지 않고, 부분부분으로 나누어서 스캔했었다.
Gradient-based One-Side Sampling (GOSS)
- 상대적으로 gradient가 클 수록, 많이 틀렸다는 의미이니까 걔네들에 대한 정보를 많이 반영해야함
- graidnet가 작을수록 틀린 정도가 크지 않기 때문에 해당 데이터 포인트들은 다음 모델을 구축할 때 덜 중요하게 생각되어도 된다.
- 따라서, Large gradient를 가진 데이터는 keep하고, small gradient를 가지면 randomly drop하자.
- 즉, 스캔을 해야하는 데이터의 총량을 좀 줄이자!
Exclusive Feature Bundling (EFB)
- 변수 길이를 줄이자
- 모든 변수에 대해서 모든 개체를 scan해서 split point를 찾아야 하니, GOSS는 관측치 수 줄이는거고, EFB는 변수의 수 줄이는거다.
- sparse한 변수는 좀 줄이자!

GOSS

알파(a)와 베타(b) 하이퍼파라미터 사용한다.
- (1-a)/b = 1 보다 크도록 조절한다.
- a가 작을수록, b가 작을수록 실제 탐색하는 데이터의 수가 줄어들기 때문에 효율성은 증가하지만 정확도에 대해서 손실을 볼 수 있는 잠재적인 risk 가 있다.
- Top a * 100% 데이터는 모두 남겨놓는다.
- a=0.2, b=0.5, (1-a)/b=1.6>1
  - Gradient 상위 20%는 split 포인트 찾는데에 모두 사용하겠다.
  - Gradinet 하위 80%에 대해서는, 50%만 sampling 해서 얘네들만 사용해서 split 포인트 찾는데에 사용하겠다.

EFB

차례로, 4가지 색깔만 있으면 인접한 노드끼리 다른 색이면서 연결시킬 수 있다.

둘 다 0이 아니었던 데이터의 수를 계산한다.
그러고나서, 각 변수마다 그 값을 더해서, 각 변수의 conflict를 계산한다.
- 즉, conflict가 작다는 것은, 둘다 0이거나 하나의 값이 0인 데이터가 많다는 뜻이므로 묶을 수 있다.
- conflict가 크면 그 변수는 묶으면 안될 것이다.

그래프를 coloring을 하기 위해서 edge를 끊어내는 작업을 한다.
- cut-off=0.2 라면, 2번 이상 conflict가 있다면 잘라내는 것이다.
- 즉 conflict가 크면 묶지 말고 잘라내자.

3개 색을 칠했기 때문에, 3개 변수로 bundling된 것

기준이 되는 변수가 가지고 있는 최대값을 두 번째 변수 값에 더해준다.
- 이렇게 하다보니, exclusive 하지 않는 경우(둘다 0이거나, 둘다 값 가지지 않는 경우)는 약간의 왜곡이 발생하기 때문에, 성능이 저하될 가능성도 있다. 실제적으로 해봤을 때는 상황에 따라 다르지만 category 데이터가 많을 경우 현실에서 작동 잘하는게 lightgbm이다.

LightGBM 도 XGBoost 처럼 GBM의 대표적인 variant 중 하나이다.
- 데이터에 따라서 속도나 성능 비등비등하다.
LightGBM을 더 효과적인 상황은 cagegorical 변수가 많아서 binding이 잘 될 수 있는 환경이다.

Ensemble model - XGBoost

고슴군 — Sat, 9 Jul 2022 10:25:41 +0900

XGBoost : A Scalable Tree Boosting System
- XGBoost는 Gradient Boosting Machine 인데, 어떻게 하면 제한된 computing resource 하에서 좀더 빠르게 더 많은 데이터를 활용할 수 있을까 고민해낸 technique 이라고 보면 된다.
- GBM이 가지고 있는 장점을 다 흡수했기 때문에, XGBoost를 더 많이 사용한다.

XGBoost : An optimized versioni of GBM enabling
- GBM에 대한 opimized version. 소프트웨어적인 부분 뿐만 아니라 하드웨어적인 부분도 최적화.

Split Finding Algorithm

Decision tree는 위와 같이 각 변수를 오름차순 정렬한 후에, 하나씩 분기를 지정해보면서 Information gain을 계산한다. 그래서 가장 information gain이 큰 분기를 찾는다.
- 항상 최적의 분기점 찾아냄. 하지만 계산복잡도 매우 높음
- 위의 단점들을 극복하기 위해 XGBoost는 Approximate algorithm 사용

즉, 전체를 한번에 쭉 훑는 것이 아니라, 부분부분 잘라서 그 부분마다 훑어간다. 그렇기 때문에 병렬처리 가능하다. 하지만 무조건 최적의 해를 찾는다는 보장은 사라진다. 일어한 보장을 희생하는 대신에 빠르게 근사해를 찾는다.

Global variant : 기존의 부분집합을 최대한 같은 개수를 유지하면서 depth가 깊어진다.
Local variant : split이 진행되면 진행될수록, 전체 부분집합 개수를 유지한다. 그렇기 때문에 depth가 깊어질수록 조금더 촘촘하게 부분집합이 구분된다.

exact geedy는 best case이고, global eps=0.3은, 30%씩 듬성듬성 부분집합 잡은 것 --> 성능 상당히 낮아짐
local eps=0.3 은 정확도가 높음.
global eps=0.05 는 애초에 bucket을 20개로 한다.

정리하면, 분산 처리를 통해 빠르게 split을 해갈 수 있는 장치가 위의 장치였다.

Sparsity-Aware Split Finding
- 분기의 기본방향인 default direction을 설정. 즉 결측치가 있는 그런 상황에서는 무조건 처음부터 그 데이터에 대해서는 어느 쪽으로 가라 하는 것을 학습 과정에서 설정해준다.

missing value를 왼쪽으로 몰았을 때 최적의 split을 찾아냈다
- 이렇게 학습이 되고 나면, 나중에 이 변수에 대해서 missing value가 나타났을 때는 missing value를 무조건 왼쪽으로 넘긴다. 즉, 변수마다 missing value일 때 어느 분기로 갈지가 결정되는 것.

시간이 줄어듬. 시간을 효율적으로 사용할 수 있다.

데이터를 각 변수값으로 정렬한 후에, 분기값을 정하고 split을 한다. 정렬하는 과정에 가장 오래 시간이 소요되기 때문에, 처음에 정렬한 데이터를 미리 저장해놓고, 필요할 때마다 불러와서 쓴다. --> 시간 훨씬 줄어듬

GBM보다 일반적으로 XGBoost를 더 많이 사용한다. 알고리즘에 대한 개념은 GBM으로 이해하면 좋고, 실질적으로 사용할 때는 XGBoost 사용하면 된다.

Ensemble model - GBM (Gradient Boosting Machine)

고슴군 — Thu, 7 Jul 2022 22:46:59 +0900

Random Forest와 함께 굉장히 널리 사용되는 기법 중 하나
- GBM에서 파생된 중요 알고리즘 세 가지 : XGBoost, LightGBM, CatBoost

Gradient Boosting = Gradient Descent + Boosting

Motivation (for regression problem) (classification도 가능)
- 만일 회귀 모형의 잔차를 다음 단계에서 학습하는 모델을 구축한다면?
- 즉, 현재 모델이 못 맞춘 것 만큼만 맞추는 모델을 만들어서 결합하면 맞출 수 있는것 아닌가?

핵심 아이디어

즉, 충분히 에러값이 작아질 때까지 모델을 충분히 만들어서 합하면 되지 않나? (y=f1(x)+f2(x)+...)
Adaboost는 못 맞추는 객체의 선택 확률값을 조정해서, 즉 선택 확률 분포를 조정했는데, GBM은 y값을 조정해서 맞추어야 하는 값이 무엇인지를 정해주자, 그렇게 guide 해주자는게 GBM.

Gradient Boosting
- 개별 모델을 forward 방식으로 학습 (Adaboost와 동일)
- 각 단계에서 새로운 Base Learner를 학습하여 이전 단계의 Base Learner의 단점을 보완
- Gradient Boosting에서는 단점이 손실 함수(loss function)의 그래디언트(gradient)에 반영됨

loss function을 찾고자 하는 함수 f(x)로 미분한 값이 잔차의 음수값이 됨
- DL에서도 loss를 최소화 하기 위한 weight를 찾는데, 이 때 찾고자 하는 weight로 loss를 미분하여 gradient 계산한다.
- DL에서는 negative gradient 방향으로 weight를 조정해서 loss를 최소화하는 w 값을 찾아간다. negative gradient는 이런 의미를 가진다.
즉, 잔차는 gradient의 음수와 같다
- gradient의 음수의 의미는, gradient descent 를 할 때 gradient 정보를 갖고 있으면 0이 아닐 경우에는 역방향으로 움직여서 최소화된 함수를 찾아갈 수 있다는 것이다.
- 실제값에서 함수값을 뺀 잔차를 활용하는 것이 negative gradient를 활용하는 것과 같아지는 것이다.
- 그래서 gradient를 이용한 boosting이다. gradient boosting machine 이라고 표현한다.

예시 (learner : stumpt tree)

Gradient Boosting Algorithm

손실함수에 대한 gradient를 사용하기 때문에, 손실함수에 따라서 GBM의 성능이 매우 달라질 수 있다.
- 회귀모형의 경우 이렇게 네 가지 loss가 가장 많이 사용된다.
- 처음부터 loss 까지 건드리는 것은 크게 성능을 dramatic 하게 변화를 내는 것은 아니기 때문에, 가장 기본적인 squared loss를 사용해보고, 거기에서부터 성능이 예상과 다르면 loss에 대한 설계를 바꿔가면서 tuning 해보는 것을 추천한다.

분류 모형에 대한 손실함수
- 베르누이 loss는 adaptive loss 보다 log 값이기 때문에 더 작다. 그래서 adaptive loss가 오분류에 더 민감하게 반응하는 특징이 있다.

GBM의 로직을 이해했다면 한 가지 의문점이 들 수 있다.
- 모든 데이터는 y=f(x)+e, 로 함수에 의해서 만들어지는 f(x) 와 함께 자연 발생적인 노이즈(e) 가 반드시 포함되어 있다. 무조건 들어있다.
- 만약 틀린 것 만큼, 즉 y-f1(x)를 목적으로 하는 f2(x) 모델을 만든다는 것은 노이즈도 학습하겠다는 것이다.
- 노이즈는 학습하면 안된다. 자연발생적인 변동성이라서 노이즈까지 학습하게 되면 과적합의 위험이 굉장히 크다.
- 따라서, 위의 설명대로 original 버전을 사용하면 과적합의 위험이 매우 높다.
- 과적합 방지를 위한 여러가지 장치를 사용한다.
- A 그래프의 빨간선으로 추정하면 좋지만, 과적합 방지 장치가 없으면 검정선과 같이 spiky하게 학습된다.
- B 그래프를 봐도 과적합된 것을 볼 수 있다.

첫 번째 장치 : subsampling
- DL의 dropout 개념과 비슷하다.
- 일부러 학습 데이터의 일부분만 사용하는 것. 예를 들어 80%만 사용. 단, 비복원 추출한다. 80% 데이터의 gradient만 계산해서 학습한다. 일부를 억지로 놀림으로써, 모든 데이터에 과적합되는 것을 방지한다.
두 번째 장치 : shrinkage
- 뒷 모델의 경우에는 영향력을 줄여가도록 하는 것. 관례적으로 0.9 내외의 값을 사용한다.

과적합 방지 장치까지 된 gradient boosting machine은 RF에 필적할 정도로 성능이 상당히 좋다.
- RF처럼 변수 중요도도 추출해준다.
- IG : information gain
- stumpt tree를 사용하기 때문에 L=2 이다.
- Influence_j(T) : 결국 이 변수가 사용이 되었을 때, 그 상황에서의 information gain이 이정도다를 나타낸다. 이 방식으로 하나하나 tree에 대한 개별적인 변수의 중요도를 계산한다.
- Influence_j : 모든 tree에 대한 j번째 변수에 대한 중요도를 더해서 평균내서 변수 최종 변수 중요도 계산한다.

RF와 쌍벽을 이룬다.
- 성능 둘 다 좋다
- 두 알고리즘 모두 변수 중요도를 산출해줄 수 있다.

Ensemble model - Adaboost (Adaptive Boosting)

고슴군 — Thu, 7 Jul 2022 16:59:20 +0900

Strong models v.s. Weak models
- Weak model이란 랜덤 모델에 비해 약간의 성능 개선이 있는 모델을 의미하며, 이 모델은 적절한 조치를 취함으로 인해 성능이 우수한 모델로 boosted 될 수 있음
Adaboost (Adaptive boosting)는 weak learner을 base learner로 사용함
- Adaboost는 weak model 중에서도 stumpt tree를 사용함
  - stumtp tree : split을 1회만 하는 tree
  - 그냥 DT 사용해도 된다. 어떤 알고리즘을 사용해도 가능하다. 예측하지 못한 샘플의 선택 확률만 증가시키면 되는 것.
bagging은 병렬적으로 boostrap 만들고 학습 가능했다. boost 기법은 sequential하게 간다. 현재 모델이 잘 해결하지 못하는 어려운 케이스에 집중해서 학습한다.
- 1단계 : 현재 데이터셋에 대해서 단순한 모델을 이용하여 학습
- 2단계 : 학습 오류가 큰 개체의 선택 확률을 증가시키고 학습 오류가 작은 개체의 선택 확률을 감소시킴
- 3단계 : 앞 단계에서 조정된 확률을 기반으로 다음 단계에서 사 용될 학습 데이터셋을 구성
- 1단계로 되돌아감
- 최종 결과물은 각 모델의 성능 지표를 가중치로 사용하여 결합
bagging은 boostrap 만들 때 각 객체마다 선택될 확률 동일하다 (동일한 확률로 복원추출). 하지만 boosting은 앞선 모델들이 맞추지 못했던 객체들은 더 높은 확률로 선택한다.

단일 모델 vs. bagging vs. boosting

Adaboost 알고리즘

Adaboost 예시

공부 잘하는 놈이 틀리면, 더 가중치(알파) 주어서 선택확률 증가시키고, 공부 못하는 놈이 틀리면, 뭐 그럴 수도 있으니 선택확률을 증가시키되 적은 가중치(알파) 로 선택확률 증가시킴

Adaboost 예시 2

Adaboost 예시 3

배깅과 부스팅에서의 개체 선택의 차이

Ensemble model - Bagging

고슴군 — Tue, 5 Jul 2022 22:18:25 +0900

Bagging : Bootstrap Aggregating
- 앙상블의 각 멤버(모델)는 서로 다른 학습 데이터셋을 이용
- 각 데이터셋은 복원 추출(sampling with replacement) 를 통해 원래 데이터의 수 만큼의 크기를 갖도록 샘플링
- 개별 데이터셋을 붓스트랩(bootstrap)이라 부름

이론적으로 한 개체가 하나의 붓스트랩에 한번도 선택되지 않을 확률

즉, 하나의 붓스트랩에 약 2/3 샘플이 선택되어 들어가 있음
- 선택되지 않은 샘플 : Out Of Bag (OOB)
개별 모델의 분산은 높고 편향이 낮은 알고리즘 (복잡도가 높은 알고리즘)에 적절함 (인공신경망, SVM(RBF, kernel width가 작은) 등) *****
- 배깅은 학습 데이터의 분포를 왜곡해서 noise를 주기 때문에, noise에 민감하게 반응하는 모델에 적용
- 복잡도가 높은 모델은 학습 데이터대로 과적합될 가능성이 높다. 그래서 bagging을 통해 학습 데이터 분포를 왜곡시키는 것이 효과가 좋다.
- 로지스틱 회귀를 가지고 배깅을 하는것은?
  - 가능은 하지만, 크게 효과는 보지 못할 것이다.
  - Bagging과 합이 잘 맞는 알고리즘 들은 모델의 복잡도가 높은 기법들이고, 그러한 기법들은 개별 모델의 분산이 높고 noise의 변화에 민감하게 반응하고 편향이 낮다.

Result Aggregating
- For classification problem
  - Majority voting : 다수결의 원칙에 따라

Weighted voting (weight = validation accuracy of individual models)
- majority의 경우에는 4, 6은 0.4, 0.6의 확률이라고 할 수 있음
- 분모 : 전체 validation accuracy의 총합
- 분자 : 각 클래스의 validation accuracy 합
- 즉 P(y) 값은 안 쓴다.

Weighted voting (weight = predicted probability for each class)

validation accuracy, P(y=1) 동시에 고려해서 결과 aggregate 해도 된다.
논리적으로 설득이 가능하다면 가능한 것이다. survey paper를 봐도, 수십가지가 된다. 뭐가 좋다고 할 수 없고, majority voting부터 시작하되 조금 더 성능 향상을 취하고 싶을 때는 가중합 방식을 고려해보면 좋다.*****

Result Aggregating
- Stacking
  - 결과값을 다른 모델의 input으로 넣는 것
  - bagging의 결과로 여러 붓스트랩마다 결과 나옴 → 그 결과들을 input으로 모델 생성
  - 새로운 함수(모델)을 이용하여 aggregate 하는 것이다
  - 실제로 많은 현실 문제에서 competition 같은 경우에도 현업의 데이터에서는 앙상블 기법이 매우 유용하게 쓰인다. 이 중에서 성능을 극한으로 끌어올리는 기술로서 stacking 사용된다.

알고리즘

Bagging: Example
- 이래서 복잡도가 높은 모델과 합이 잘 맞는구나..!!

결과물 취합하는 방식은, logical 하다면 무엇이든 사용될 수 있다.

Out of bag error (OOB error)
- 배깅을 사용할 경우, 학습/검증 집합을 사전에 나누지 않고 붓스트랩에 포함되지 않는 데이터들을 검증 집합으로 사용함
- 즉, train과 test만 나눠놓고, train data에서 OOB 데이터셋들로 검증할 수 있음

Ensemble model - 핵심 아이디어/효과, 배깅-부스팅 비교

고슴군 — Tue, 5 Jul 2022 16:55:05 +0900

앙상블의 목적 : 다수의 모델을 학습하여 오류의 감소를 추구
- 분산의 감소에 의한 오류 감소 : 배깅(Bagging), 배깅의 special case인 랜덤 포레스트(Random Forest)
- 편향의 감소에 의한 오류 감소 : 부스팅(Boosting) - Adaboost, GBM, XGboost, LightGBM, Catboost 등
- 분산과 편향의 동시 감소 : Mixture of Experts - 존재하기는 하나, 실제로 모델링할 때 control이 상당히 어려움

앙상블 구성의 두 가지 핵심 아이디어
- 다양성(diversity)을 어떻게 확보할 것인가?
- 최종 결과물을 어떻게 결합(combine, aggregate)할 것인가?

앙상블의 효과

앙상블의 다양성

Implicit : train data를 다르게 subset 구성하여 학습시키는 방식
Explicit : 모델에게 이전 모델과는 다른 이런 것을 학습해야 한다. 라고 명시적으로 알려주는 방식

Bagging이 병렬처리 가능해서 학습속도가 더 빠를 것 같지만 그렇지 않다.
- base learner가 계산 복잡도가 높은 Neural Net과 같은 무거운 모델인 경우가 많다. 하나 돌아가는데도 시간이 매우 걸린다.
Boosting은 tree와 같은 단순한 모델 사용하기 때문에, 순차적으로 학습함에도 불구하고 학습시간이 더 빠르다.

Anomaly Detection - Extended Isolation Forest

고슴군 — Tue, 5 Jul 2022 14:35:03 +0900

Isolation Forest
- 첫번째 그림 : 구 형태로 등고선이 그려지는게 맞을 것
- 오른쪽 그림 : 정상 데이터가 없는데도 불구하고, 정상으로 판단할 수 있는 영역이 생김
- 마지막 그림 : sin 함수 곡선의 사이사이 모두 정상으로 판단

Extended IF
- 기존의 IF는 변수의 값으로 split 하기 때문에, 각 축에 대해서 수직 혹은 수평인 방향으로 split을 하게 됨
- 기울기를 적용하자. 기울기도 random하게 적용할 것이다.

Example
- Standard IF : 항상 축에 수직인 직선을 이용해서 영역을 분할함
- Extended IF : 분할하는 직선의 slope가 random하게 적용되어 분할

동그라미친 부분은 상대적으로 split을 많이 필요로 하는 구간이기 때문에 anomaly score가 낮음

알고리즘
- random 하게 intercept와 slope를 할당함

실제 데이터에서 IF가 잘 작동하는 데이터가 자주 발생하느냐? 그렇지는 않다
교수님 개인적으로는, Standard IF 먼저 해보고 성능이 안 나오면 그 다음 단계로 Extended IF를 시도하는 것을 추천