[AI/ML] 최소제곱법을 이용한 회귀계수 추정, 오차 제곱합(SSE) 개념과 정의

 회귀계수를 추정하는 방법은 다양하지만, 대표적으로는 최소제곱법을 사용합니다. 최소제곱법을 이용하여 회귀계수를 추정하는 방법을 알아봅니다.

 

[ Contents ]

 

 

1.  최소제곱법 (OLS)

각 오차의 제곱합을 최소로 하는 회귀 계수를 추정하는 방법

 

 회귀분석은 지도학습으로, 정답값(label)이 있는 데이터로 답을 예측하는 함수를 찾아냅니다.

 정답값이 있으므로 예측값과 얼마나 차이나는지 알 수 있죠. 그 오차를 측정해서 제곱합으로 나타냅니다.

 오차를 바로 더하지 않고 제곱하는 이유는 오차끼리 상쇄되지 않도록 하기 위해서입니다. 예를 들어 오차가 각각 -1, 2, -1이 났다면 더하면 0이 되버리죠. 이런 걸 방지하기 위해 제곱합을 사용해서 1 + 4 + 1 = 6으로 나타냅니다.

 

2025.03.30 - [AI (Artificial Intelligence)/ML (Machine Learning)] - [AI/ML] 회귀 분석의 개념과 유형, 그리고 회귀 모형의 가정 [선형성, 독립성, 등분산성]

[AI/ML] 회귀 분석의 개념과 유형, 그리고 회귀 모형의 가정 [선형성, 독립성, 등분산성]

 

 

2. 오차 제곱합 (SSE: Error Sum of Squares)

(실제값 - 예측값)의 제곱합

 

 관측치 데이터의 실제값에서 예측값을 빼서 오차를 구합니다. 그 오차를 제곱해서 더한 값이 오차 제곱합입니다.

 

 예측값은 위와 같이 독립변수들의 회귀계수를 추정해서 구합니다.

 회귀모델의 독립변수 구성이 잘 되었다는 가정 하에, 오차 제곱합이 최소가 되는 회귀계수를 구해야 겠죠.

 

 

반응형

 오차 제곱합에 예측값을 대입하면 위와 같습니다. 위와 같이 오차 제곱합(SSE)이 최소가 되는 회귀계수를 추정하는 방법을 최소제곱법이라고 합니다.

 물론 계산은 컴퓨터가 합니다. 이를 계산해서 추정하는 함수는 R이든 파이썬이든 스칼라이든 라이브러리에 잘 구현되어 있습니다. 대학에서 교수님이 악랄한 시험 문제를 내지 않는 이상, 직접 할 일은 없죠. 이런 방식으로 구현되었다는 정도만 이해하시면 되겠습니다.