파이썬 머신러닝 지도학습 - 앙상블

앙상블 이해

앙상블은 여러 기본 모델을 조합하여 성능을 상승 시키는 방법으로

모델의 정확도는 높지만 설명이 어렵다

 

종류

배깅 - 같은 유형의 알고리즘을 사용해 부트스트랩(샘플을 만들고 데이터를 다시 집어놓고 다시 샘플을 만드는 식)

한 데이터로 최종 결과를 얻는 방식 ex)랜덤 포레스트 (Random forest)

 

부스팅 - 같은 유형의 알고리즘을 사용하여 순차적 학습을 수행 -> 이전 모델이 예측에 실패한 데이터에 가중치를 부여하여

다음 모델에서 계속 학습과 예측을 진행 ex) XGBoost , LightGBM

 

스태킹 - 서로 다른 종류의 여러 모델을 조합해 최고의 성능을 내는 모델을 만드는 방식

 

보팅 - 서로 다른 알고리즘의 예측결과를 통해 결과를 결정함   소프트 = 확률의 평균을 구하고 확률이 높은 값 , 하드 = 다수의 모델이 예측한 값