[ML] Class imbalance 해결을 위한 다양한 Sampling 기법

🔉해당 포스팅에서 사용된 자료는 고려대학교 산업경영공학부 김성범교수님의 Youtube 강의자료에 기반했음을 알려드립니다. 혹여나 출처를 밝혔음에도 불구하고 저작권의 문제가 된다면 joyh951021@gmail.com으로 연락주시면 해당 자료를 삭제하겠습니다. 감사합니다.

 

이번 포스팅에서는 데이터 불균형, 명확하게는 종속변수인 클래스(레이블) 불균형을 해결하기 위한 다양한 샘플링 기법에 대해 알아보려고 한다. 클래스 불균형이 구체적으로 무엇이고 대략적인 해결방안에 대해 알고 싶다면 여기를 참고하자.

 

클래스 불균형을 해결하기 위해서는 크게 데이터에서 수행할 수 있는 샘플링 기법, 모델링 과정에서 수행할 수 있는 비용기반 학습(Cost-sensitive learning)과 단일 클래스 분류기법(Novelty Detection)으로 나뉜다. 해당 포스팅에서는 샘플링 기법의 종류에 초점을 맞추어 설명할 것이며 말미에 비용기반 학습과 단일 클래스 분류기법에 대한 간단한 개념도 소개할 예정이다.

 

데이터에도 불균형이 존재한다.

 

먼저 샘플링 기법에는 언더샘플링과 오버샘플링으로 나뉜다. 두 개념에 대해 간단히 설명하자면, 언더샘플링은 'Under' 그야말로 원본의 데이터를 축소하는 것이다. 반면에 오버샘플링은 'Over'로 원본의 데이터를 증식시키는 것이다.

 

먼저 언더샘플링의 장,단점에 대해 알아보고 자세한 종류를 살펴보자.

 

• 장점
  • 다수의 클래스 데이터를 제거하므로 계산시간이 감소한다.
  • 클래스 오버랩을 감소시킨다.
• 단점
  • 데이터를 제거하기 때문에 정보 손실이 발생한다.

1-1. Random Undersampling

1-2. Tomek Links

1-3. CNN(Condensed Nearest Neighbor)

1-4. OSS(One-side Selection)

1-1. Random Undersampling

랜덤 언더샘플링은 다수의 클래스에 속해있는 관측치들 중 무작위로 샘플링하는 것이다. 따라서 수행할 때마다 다른 결과가 도출된다. 그렇기 때문에 샘플링 마다 모델의 성능이 달라지긴 하지만 의외로 괜찮게 사용되는 경우가 있다고 한다.

1-2. Tomek Links

우선 토멕링크가 무엇인지부터 이해해보자. 다음 그림을 보자.

 

다음과 같은 데이터가 존재한다고 가정해보자.

 

위 그림에서 초록색으로 동그라미 친 부분의 데이터를 살펴보자. 우선 서로 다른 클래스의 데이터 두 점을 연결을 한다. 그런데 이 두 데이터 주변에 다른 임의의 데이터 k가 있다고 하자. 이 때 두 점을 연결한 데이터 모두 데이터 k와 각각 연결했을 때의 거리가 두 점(초록색 동그라미 내부의 두 점)을 연결한 거리보다 길다면 이 때 이 두 점간의 링크를 토멕링크라고 한다.

 

이렇게 토멕링크에 해당하는 초록색 동그라미들을 모두 색출해내고 이 데이터 쌍들 중 다수의 클래스에 속해있는 데이터를 삭제한다. 즉, 위 예시 그림에서는 초록색 동그라미 안에서 파란색 데이터들을 모두 삭제해주어 언더샘플링을 수행하는 것이다.

1-3. CNN(Condensed Nearest Neighbor)

CNN 방법은 소수 클래스에 속하는 데이터 전체, 'A' 과 다수 클래스에 속하는 데이터들 중 무작위로 하나 선택한 데이터 하나, 'B', 그래서 'A' + 'B' 으로 구성된 Sub-데이터를 구성한다. 

 

그리고 위 상태에서 다수 클래스에 속하는 나머지 데이터들(무작위로 선택한 데이터 1개 제외) 중 하나씩 KNN에서 K=1인, 1 - Nearest Neighbors를 이용해 그 데이터가 무작위로 선택한 다수 클래스 데이터 한 개와 가까운지, 아니면 소수 클래스 데이터 중 어떤 것이라도 그것과 가까운지를 살펴본다. 

 

그리고 다수 클래스에 속하는 나머지 데이터들 중 소수 클래스 데이터와 더 가까운 데이터들은 소수 클래스로 우선 분류시킨다. 이후 1 - Nearest Neighbors를 통해 정상적으로 분류된 다수 클래스 데이터들을 언더 샘플링을 해 준다. 이 때 한 가지 주의해야 할 점이 있다. K-NN을 적용시에 K값은 반드시 1이어야 한다. K가 1이 안되는 이유는 강의 속 CNN 설명에 들어있으니 꼭 시청해보길 권한다. 

 

이에 대해 이해가 잘 가지 않는다면 김성범 교수님 강의의 13분 50초부터 참고해보자.

1-4. OSS(One-side Selection)

OSS 방법은 Tomek links 와 CNN을 같이 수행하는 방식이라고 보면 된다. 즉, Tomek links로 분류 경계에 존재하는 데이터들을 언더샘플링 하는 동시에 CNN으로 분류가 너무나도 잘 되는 데이터들을 언더샘플링할 수 있다.

---

다음은 오버샘플링이다. 오버샘플링의 장, 단점은 다음과 같다.

 

• 장점
  • 데이터 정보 손실이 없다.
  • 언더샘플링에 비해 높은 분류 정확도를 보인다.
• 단점
  • 과적합 문제가 발생한다.
  • 데이터 증가로 인해 계산시간이 증가한다.
  • 노이즈 또는 이상치에 민감한 편이다.

오버샘플링의 종류는 다음과 같다.

 

2-1. Resampling

2-2. SMOTE

2-3. Borderline - SMOTE

2-4. ADASYN

2-1. Resampling

소수 클래스에 속하는 데이터의 관측치를 복사(copy)하는 방식으로 증식시키는 방법이다. 기존의 데이터와 동일한 복제 데이터를 생산하는 것이다. 이 방법은 소수 클래스에 과적합 발생 가능성이 다른 방법보다 상대적으로 높다는 문제가 있다. 그래도 실제 적용 시 의외로 잘 동작하는 경우가 있다고 한다.

2-2. SMOTE

SMOTE 방식은 예전에도 포스팅했었던 오버샘플링 방법이다. 소수 클래스에 속하는 데이터 주변에 원본 데이터와 동일하지 않으면서 소수 클래스에 해당하는 가상의 데이터를 생성한다.

 

간단한 프로세스에 대해서 설명하자면, K값을 사전에 정한 후, 임의의 데이터 하나를 선정하고 이 데이터와 가장 가까운 상위 K개의 데이터 중 하나를 랜덤으로 선정해 Synthetic 공식을 통해 가상의 데이터를 계산하게 된다. Synthetic 공식을 이용해 계산하는 방법은 해당 강의를 참고하자. 방금까지 한 과정을 소수 클래스에 속하는 모든 데이터에 대해 반복 수행하며 가상관측치들을 생성한다.

 

이 때, 사전에 정의하는 K값은 1로 해선 안 되며 반드시 K값은 2 이상의 정수값이어야 한다. K가 1로 설정하게 되면 선정한 임의의 데이터 하나를 선정한 뒤 다른 데이터를 고를 때 선택지가 1개밖에 없기 때문이다. 자세한 내용은 강의 내용을 참고하자.

 

SMOTE 샘플링 방식

2-3. Borderline - SMOTE

다음은 SMOTE 방식인데 두 클래스 데이터간의 경계선 부분에만 SMOTE를 적용한다.

 

우선은 보더라인을 찾아야 한다. 소수 클래스에 속하는 데이터 하나를 선정해 N개 주변을 탐색한 후 이 N개 데이터 중 다수 클래스에 속하는 데이터가 몇개인지 확인한다. 이 때 다수 클래스에 속하는 개수 K에 따라 보더라인 인지 여부를 결정하며 그 데이터가 Safe 관측치인지, Danger 관측치인지, Noise 관측치인지 결정한다.

 

이 때 보더라인 여부를 결정하는 '다수 클래스에 속하는 개수 K'는 어떻게 결정할까? 이에 대해서 해당 강의에서는 특정 논문에서 주장하는 K 계산 공식을 소개한다. 공식은 다음과 같다.

 

k는 소수 클래스 데이터 주변의 데이터 개수(위 예시에서 미지수 N에 해당), k'는 k 소수 클래스 주변의 다수 클래스 수 라고 가정할 때,

 

1. k = k' : Noise 관측치
2. k/2 < k' < k : Danger 관측치
3. 0 =< k' =< k/2 : Safe 관측치

위 공식으로 어떤 종류의 관측치인지 결정한 후 보통 Danger 관측치에 대해서만 SMOTE를 적용하여 오버샘플링을 수행한다.

 

Borderline-SMOTE 예시

2-4. ADASYN

Adaptive Synthetic Sampling Approach로, Borderline-SMOTE와 비슷한 방식이지만 샘플링 개수를 데이터 위치에 따라 다르게 설정한다는 것이 차이점이다. ADASYN의 동작 프로세스는 다음과 같다.

 

먼저 모든 소수 클래스 데이터에 각각에 대해 주변 데이터 K개수만큼 탐색하고 그 중 다수 클래스 관측치의 비율을 계산한다. 이를 Ri값이라고 가정하자.(i는 데이터 개수로 1부터 K까지 범위에 속한다.) 

 

이 각각의 소수 클래스 데이터에 대해 계산한 Ri값을 다음과 같은 공식으로 스케일링 하자.

 

Ri 를 스케일링 하는 공식

 

위 공식을 통해 스케일링한 Ri값들 각각에 G값(다수 클래스 개수 - 소수 클래스 개수)을 곱해주고 반올림을 하게 된다. 이렇게 되면 정수값이 도출된다. 그리고 이 정수값만큼 각 데이터에서 SMOTE 방식을 이용해 오버샘플링을 해준다.

 

ADASYN 오버샘플링 예시

 

이렇게 데이터 위치에 따라 SMOTE를 이용하는 오버샘플링 방식인 ADASYN은 소수 클래스 주변의 다수 클래스 수에 따라 유동적으로 오버샘플링 할 데이터 개수를 생성한다. 따라서 Borderline-SMOTE의 보더라인에 집중한다는 점과 동시에 다수 클래스 데이터 주변에 존재하는 소수 클래스에 집중한다는 장점이 있다.

 

보통 데이터의 분포도를 그렸을 때 다수 클래스가 여러 부분에 분포되어 있을 때(이를 멀티 모델이라고도 한다), ADASYN이 잘 동작한다고 알려져 있다.

---

지금까지 언더샘플링과 오버샘플링의 장, 단점과 종류에 대해 알아보았다. 이제 마지막으로 불균형 데이터 문제를 데이터 처리과정에서가 아닌 모델링 과정에서 수행할 수 있는 비용 기반 학습, 단일 클래스 분류기법에 대해 간단히 알아보자.

# 비용 기반 학습(Cost-Sensitive Learning)

예를 들어, 다수 클래스에 속하는 1000개의 데이터가 있다고 가정하자. 이 1000개의 데이터 중 분류 경계선으로부터 거리가 멀어 어떤 새로운 데이터가 들어와도 잘 분류하는 클래스 데이터가 있는 반면, 특정한 데이터는 분류 경계선으로부터 매우 근접해 새로운 데이터가 들어왔을 때 분류경계선이 조금이라도 움직여 오분류될 가능성이 높은 클래스 데이터가 존재할 것이다.

 

이 때, 오분류할 가능성 즉, Cost값에 기반해 Cost값이 높은 클래스 데이터일수록 그 데이터를 분류하는 데에 더 집중하면서 학습을 하는 것이다. 이 비용 기반 학습방법 중 하나인 Focal loss 대해 간단히 설명해놓은 기존의 포스팅이 존재하므로 여기를 참고해보자.

# 단일 클래스 분류기법(Novelty Detection)

단일 클래스 분류기법은 "꼭 두 클래스를 모두 고려해야 하나? 다수 클래스만 고려하자! 소수 클래스를 동시에 고려하는 것이 오히려 손해를 주지 않을까?" 하는 아이디어에서 기원했다고 한다.

 

우선, 소수 클래스 데이터의 존재를 무시한 채 다수 클래스 데이터를 잘 설명하는 바운더리를 생성한다. 이 때 바운더리로 원(Circle)을 생성하기도 하며, 중심점과 반지름을 구해 원 바운더리를 생성한다. 그리고 새로운 데이터가 들어왔을 때 생성한 바운더리 안에 들어가는지 여부에 따라 분류하게 된다.

 

개인적인 의견이지만 소수 클래스 데이터의 존재를 무시한다는 점에서 단일 클래스 분류기법은 소수의 클래스 데이터가 매우 적을 때 사용하는 것이 적합할 것 같다는 느낌이 든다.