머신러닝 앙상블 학습(Ensemble Learning)의 유형

앙상블 학습(Ensemble Learning)이란 여러 개의 Classifier를 생성하고 각 Classifier가 만든 예측을 결합해 보다 나은 최종 예측을 도출하는 기법이다.

앙상블 학습의 유형

• 보팅(Voting)
  • 투표를 통해 최종 예측 결과 결정
  • 서로 다른 유형의 알고리즘, 같은 데이터셋
• 배깅(Bagging)
  • 투표를 통해 최종 예측 결과 결정
  • 같은 유형의 알고리즘, 서로 다른 샘플링
  • 샘플링된 데이터셋 간에 중첩 허용 (교차검증은 비허용)
  • ex. Random Forest
• 부스팅(Boosting)
  • 다음 분류기에 가중치를 부여하며 순차적 학습 및 예측
  • ex. AdaBoost(Adaptive Boosting), GBM(Gradient Boosting Machine), XGBoost(eXtra Gradient Boost), LightGBM(Light Gradient Boost)
• 스태킹(Stacking)
  • 여러 모델의 예측 결과값을 다시 학습 데이터로 만들어 메타 모델로 재학습