본문 바로가기

Machine Learning/Ensemble

Stacking Ensemble
Machine Learning/Ensemble 2022. 10. 17. Stacking Ensemble 1. 정의 여러가지 모델들의 예측값을 최종 모델의 학습 데이터로 사용하여 예측하는 방법이다. 즉, Stacking이란 개별적인 여러 알고리즘을 서로 결합해 예측 결과를 도출하는 것이며 이를 기반으로 다시 예측하는 것이다. 2. 특징 성능 개선을 위해 개발되었지만, 언제나 성능 개선이 이루어지는 것은 아님. 개별 모델(base model)들의 성능이 좋아야 하며, 모델에서 나온 예측치끼리 uncorreated 되어야 한다. 개별 모델(base model)의 수가 2개 이상이어야 함. 3. Stacking에서의 단계별 모델 Base Models : 학습 데이터를 이용해 모델을 학습시키고 예측치들을 합침 Meta Model : base models의 예측치를 합쳐 개선된 성능을 가진 모델 생성 [여러 개별 모..
Machine Learning/Ensemble 2022. 10. 17. Ensemble Member Selection 1. 정의 Ensemble Member Selection이란, 앙상블 내 모델 조합을 최적화시키는 알고리즘이다. 2. 특징 앙상블의 성능 저하를 최소화하면서 앙상블 모델을 축소하고 이를 통해 앙상블의 계산 복잡도(computational complexity)를 감소시킨다. 단순히 voting과 stacking ensemble로 어떤 조합의 모델이 최고의 성능을 내는지 알 수 없기 때문에 ensemble member selection을 수행한다. 3. 종류 Ensemble Growing : 탐욕적 방법(Greedy manner)으로 더 이상의 성능 개선이 없을 때까지 앙상블에 모델을 추가 Ensemble Pruning : 탐욕적 방법(Greedy manner)으로 더 이상의 성능 개선이 없을 때까지 전체 ..
Voting Ensemble & Weighted Average Ensemble
Machine Learning/Ensemble 2022. 10. 17. Voting Ensemble & Weighted Average Ensemble 빅콘테스트 퓨처스 대회 준비 중 학습 모델로 Ensemble 모델을 사용하기로 결정했다. 대회 준비 중 Ensemble 공부했던 내용을 정리해 보고자 한다. 1. Voting Ensemble(투표 앙상블) Voting Ensemble이란, 성능을 향상시키기 위해 개별 모델들의 예측치(prediction)를 합치는 앙상블 기법이다. regression 문제인 경우, 투표 앙상블은 다수의 모델에서 산출된 예측치의 평균을 최종 예측치로 선정한다. Classification 문제인 경우, Hard Voting과 Soft Voting으로 나눌 수 있다. Hard Voting은 가장 많은 득표를 한 class를 최종 예측치로 선정하고 Soft Voting은 각 class별로 예측된 확률의 총합을 구해 가장 큰 값을..

티스토리툴바