Linear Regression (선형회귀모델) - 2 (파라미터 추정, 최소제곱법)

파라미터 추정

$d_{1}+d_{2}+...+d_{n}=0$인 것은 오차항($\varepsilon$)이 정규분포를 따르기 때문

 

이러한 과정을 '모델링'이라고 한다. (여러 '가정'에 따라 parameter를 이용하여 데이터를 표현하는 방법을 만들고, 그 parameter를 최적화해가는 과정이라고 생각한다.)

파라미터 추정 알고리즘

Cost function의 형태에 따라서 어려운 문제 혹은 쉬운 문제가 될 수 있다. 

(오타 존재 : $\hat{\beta_{0}}=\bar{Y}-\hat{\beta_{1}}\bar{X}$)

 

 

잔차

• 오차($\varepsilon$)는 확률 분포를 따르는 것이고, 잔차(e)는 정해진 값이다. 
• 잔차(e)는 확률 오차($\varepsilon$)이 실제로 구현된 값이다.

 

 

[참조] 김성범 교수님의 https://www.youtube.com/watch?v=AZ45z0eGlaw 를 요약한 것입니다.