[AI/DL] 부스팅(Boosting) 앙상블 기법의 개념과 절차, 특징 알아보기

 앙상블 기법 중 하나인 부스팅(Boosting)의 개념과 학습 절차, 특징을 알아봅니다.

 

[ Contents ]

• 1. 부스팅(Boosting)
• 2. 부스팅의 특징
  • 1) 이전 모델의 결과값에 따른 가중치 재조정
  • 2) 이상치나 노이즈에 민감
  • 3) 높은 계산 복잡도

 

 

1. 부스팅(Boosting)

 

예측력이 약한 모델을 순차적으로 결합하여 학습시키면서, 점차 보완하여 예측력이 강한 모델을 만드는 기법

 

 부스팅은 순차적으로 여러 모델을 거쳐 학습해서, 점차 보완된 모델을 얻는 기법입니다. 모델1의 학습데이터 평가 및 가중치를 조정하고, 이를 모델 2가 받아서 또 학습하는 식입니다.

 이렇게 순차적으로 대물림받으며 학습을 진행하며, 잘못 학습된 가중치를 바로 잡으면서 정확도를 높여 갑니다.

 병렬적으로 여러 분류기를 학습시킨 후, 그 분류기의 값을 취합하는 배깅과는 약간 상반된 앙상블 기법입니다.

 

2025.04.04 - [AI (Artificial Intelligence)/DL (Deep Learning)] - [AI/DL] 배깅(Bagging) 앙상블 기법의 개념 및 절차, 특징 알아보기

[AI/DL] 배깅(Bagging) 앙상블 기법의 개념 및 절차, 특징 알아보기

 

반응형

 

2. 부스팅의 특징

1) 이전 모델의 결과값에 따른 가중치 재조정

 이전 모델에서 제대로 학습된 데이터는 낮은 가중치를 부여하고, 틀린 데이터는 높은 가중치를 부여하는 방식으로 보완해나갑니다. 마치 오답노트 공부하듯이 점차 성능을 높일 수 있습니다.

 

 

2) 이상치나 노이즈에 민감

 다만 이상치나 노이즈에 대해서는 민감한 편입니다. 마치 너무 어려운 문제를 오답 정리 하느라, 다른 쉬운 문제를 공부하지 못하는 것과 같죠.

 

 

3) 높은 계산 복잡도

 여러 모델을 학습해서 최종 모델을 만들어내는 앙상블 기법 중 하나이므로, 계산 복잡도는 다소 높은 편입니다.