LGBM

GBM이란?Boosting약한 모델을 여러 번 순차적으로 적용해 강한 모델을 만들어 나가는 것을 의미한다. 즉 이전 학습기가 잘못한 예측한 데이터를 다음 학습기가 학습함으로써 순차적으로 예측 정확도를 높여가는 방식Gradient Decentloss 함수의 미분값의 크기가 점차 줄어드는 방향으로 가중치를 업데이트하여 손실함수의 최소값을 찾가는 방법을 말한다.쉽게 말해, Gradient에 마이너스를 취해 가중치를 업데이트 하는 방법.GBM 예시성별과 키로 몸무게를 예측하는 회귀 문제초기모델 : 모든 데이터의 샘플을 몸무게의 편균인 55로 예측첫번째 학습기학습 : 잔차(실제 몸무게 - 초기예측값) 를 이용해 학습. 이를 이용해 MSE(평균제곱오차)가 최소가 되는 값을 분기점으로 택한다.결과 : 잔차가 가장 줄..

2024.08.23