[ML] Out Of Fold(OOF) 방법으로 모델 평가하기

🔊 해당 포스팅은 인프런 강의의 캐글 Advanced 머신러닝 실전 박치기 강의 내용을 토대로 재구성하였음을 알려드립니다. 해당 강의에 대해 더 궁금하시다면 여기를 클릭해주세요.

 

이번 포스팅에서는 머신러닝 모델의 성능을 평가하는 방법으로서 OOF 방법이라고 알려져 있는 Out Of Fold 방식에 대해 알아보려고 한다. OOF 방식은 실무보다는 Kaggle, Dacon과 같은 예측 알고리즘 대회에서 자주 사용되는 방식이라고 한다. 그럼 OOF 방식은 어떻게 동작하는 걸까? 

 

Fold는 '폴더(Folder)'와 같은 개념이라고 생각하면 이해가 쉽다.

 

우선 OOF 방식은 Fold를 이용한다. Fold라.. 어디에선가 많이 들어봤지 않은가!? 데이터수가 적을 때 모델의 오버피팅 가능성을 예방하기 위해 자주 사용되는 교차검증 방법인 K-fold cross validation에서도 Fold가 사용된다! 그럼 OOF의 Fold와 K-fold의 Fold는 서로 다를까? 결론부터 말하면 비슷하다. 엄밀히 말하면, K-fold를 이용한 것이 OOF라고 할 수 있으며 OOF안에는 K-fold가 속한다고 볼 수 있다.

 

그렇다면 이제 OOF 방식이 모델에서 어떻게 동작하여 미래의 값을 예측하는지 그림을 통해서 살펴보자.

 

OOF 방식으로 최종 예측하는 방법

 

위 그림의 좌측은 4개의 Fold로 교차검증하는 K=4 일때의 K-fold 교차검증 방법이다. 이렇게 총 4번의 교차검증으로 (동일한 하이퍼파라미터를 사용한) 예측 알고리즘으로 각 검증 데이터로 평가한 Model 1~4를 만들어낸다.(이 때, Model 1,2,3,4에서 각각 최적화된 파라미터 값들은 다를 것이다. 왜냐하면 각 모델이 학습한 데이터가 서로 다르기 때문이다.)

 

그리고 난 후, Model 1~4를 동일한 테스트 데이터에 대해 예측하도록 하여 각 Model 별 테스트 데이터에 대한 예측값을 계산한다. 이렇게 되면 위 그림에서 노란색 박스의 Model 1~4 예측값이 나오게 된다. 

 

마지막으로 할 일은 이 4개의 예측값들의 평균값을 취하여 테스트 데이터에 대한 최종 예측값을 계산한다. 

 

이렇게 OOF 방법으로 예측하는 방법에 대해 알아보았다. 생각보다 간단하다. 하지만 문두에도 언급했다시피 OOF는 Kaggle, Dacon 과 같은 "누가누가 더 잘 예측하나"를 목적으로 하는 예측 알고리즘 대회에서 자주 사용되는 방법이다. 따라서 실무에서는 잘 사용되지 않는다고 한다.(혹여나 실무에도 자주 사용된다면 댓글 달아주세요! 아직 실무자가 아니라...하하..)