[머신러닝] 최소자승법(Least Square Method)

 이번에는 시계열 분석에 사용되는 최소자승법에 대해 알아보겠다. 예를 들어, 대학교 입학성적이 대학교 재학 중 학업성적에 미치는 영향을 조사하기 원한다고 가정하자. 이를 위해 6명의 재학생의 입학성적(x₁=수능성적, x₂=학생부 성적)과 학생들의 대학 재학시 총 평균학점(y=GPA)의 자료를 얻었다.

이 자료를 근거로 재학생의 학업 성취도가 대학 입학성적과 어떤 연관이 있는지 살펴 보려면 

Y = a₁x₁ + a₂x₂    (1.1)

 을 만족하는 a_1, a₂ 값을 정하면 된다. 여기서 a₁은 수능성적이 1점 상승할 때 대학에서의 GPA가 얼마나 오르는지에 대한 증가량을 나타내며 a₁>0이면 수능 성적이 높을 수록 GPA가 높아짐을 의미한다. 모든 자료가 식 1.1을 만족시키는 것은 불가능하기 때문에 오차항(error) e_i을 이용하면 i 번째 학생의 경우

y_i = a_1x x_1i  + a₂ x_2i + e_i    (1.2)

라는 모형식을 가정 할 수 있다. 이를 행렬식으로 표시하면 y = Xa+e라고 할 수 있다. 그리고 여기서 a값을 결정하기 위해 흔히 사용하는 방법은 오차항의 길이 제곱을 최소로 하는 방법인데, 이를 최소자승법이라고 한다.

 기하학적으로 오차항의 길이를 최소로 하는 방법은 벡터 y를 열공간 C(X)에 투영시켰을 때의 a값을 얻는 거이며, 이때 투영된 그림자를 y^이라 하고 그 때의 a값을 a^이라고 한다면 

y^ = Py = X(X^TX)^-1X^Ty = Xa^   (1.3)

로 부터

a^ = (X­^TX)^-1X^Ty   (1.4)

라는 값이 얻어지고 이를 '최소자승추정량(Least Squares Estimator)'라고 한다.