[ML] 주요 인자 탐지 방법인 FDR(False Discovery Rate)

🔉해당 포스팅에서 사용된 자료는 고려대학교 산업경영공학부 김성범교수님의 Youtube 강의자료에 기반했음을 알려드립니다. 혹여나 출처를 밝혔음에도 불구하고 저작권의 문제가 된다면 joyh951021@gmail.com으로 연락주시면 해당 자료를 삭제하겠습니다.(저작권의 문제가 되지 않도록 사진은 최대한 제가 직접 만든 자료로 대체했습니다 :) )

 

이번 포스팅에서는 주요 인자를 탐지하는 방법 중 하나인 FDR(False Discovery Rate)에 대해 알아보려고 한다. 본격적으로 FDR에 대해 알아보기에 앞서 '주요 인자를 탐지'한다는 것이 무엇인지 알아보자.

 

주요 인자 탐지는 '이상 탐지(Anomaly Detection)'를 하기 위한 분석이라고 할 수 있다. 이상 탐지란, 특정한 도메인에서 일반적으로 예상되는 특성을 따르지 않는 데이터나, 정상으로 규정된 데이터와 다른 특징을 가지는 즉, 비정상적인 데이터를 찾아내는 것을 의미한다. 이 때 주요 인자 탐지는 이 비정상적인 데이터의 주요한 특징(인자)를 탐색하고 파악하는 것이다.

 

주요 인자 탐지는 비정상적인 데이터의 특성을 파악하는 것이다.

1. 주요 인자라는 것을 어떻게 판단할 수 있을까?

비정상적인 데이터는 분명히 정상인 데이터와는 다른 패턴을 보일 것이다. 그말은 즉슨 여러 데이터 특성 즉, 여러가지 변수 측면에서 정상 데이터와는 다른 값을 가짐을 의미한다. 하지만 여기서 '다른'이라는 단어가 좀 애매모호하다. 도대체 정상 데이터와 얼마나 달라야 비정상적인 데이터의 인자로 취급한다는 것일까? 분명 객관적인 지표가 필요하다. 우리는 이 객관적인 지표를 마련하기 위해 통계적으로 접근을 취할 수 있다.

 

$p$개의 $x$변수가 있다고 가정해보자.

 

위 데이터처럼 $p$개의 $x$변수들이 있다고 가정해보자. 위에서 빨간색 값들은 비정상인 이상(False) 데이터들의 특성이고 파란색 값들은 정상인 데이터들의 특성이다. 그렇다면 위의 4가지 변수들 중 어떤 것이 이상 데이터의 특성을 가장 잘 나타낼까? 아마 대부분의 사람들이 $x_2$ 변수를 가리킬 것이다. 그러면 그렇게 생각한 근거가 무엇일까? 답은 간단하다. 이상인 데이터들의 특성은 모두 10이고 정상인 데이터들은 모두 200이기 때문이고 그 차이값이 다른 $x$ 변수들보다 월등히 크게 나기 때문이다.

 

그렇다면 이를 통계학적인 방법을 사용하게 되면 다음과 같다. 비정상인 데이터들의 $x_2$ 값들의 평균값과 정상 데이터들의 $x_2$ 값들의 평균값을 비교해서 이 차이가 클수록 이상을 탐지하는 주요 요인(변수)일 것이다. 따라서 다음과 같은 수식으로 나타낼 수 있다.

 

$$\max\arg i\,[\bar{x_i}_{normal} - \bar{x_i}_{abnormal}],   i=(1, 2, 3, \cdots, p)$$

 

그래서 하나의 변수 $x_i$에 대해 정상/비정상 2개의 집단에 대한 평균 차이 검정인 T-test를 수행하면 된다. 물론 2개 이상의 집단에 대한 T-test를 수행하기 이전에 두 집단의 $x_i$값들에 대한 등분산성 여부를 먼저 체크하는 것이 순서이다. 등분산 검정(F-test), T-test 검정 방법, P-value 해석에 대한 설명을 하다 보면 너무 길어질 뿐더러 해당 주제를 좀 벗어날 것 같아서 만약 이에 대한 내용을 모른다면 여기 또는 다른 좋은 블로그들을 참고해보자.

 

그래서 결국 각 $x_i$ 변수에 대해 T-test 검정을 수행하면 된다. 그런데 최근에 들어 변수가 하나만 존재하는 일변량 문제는 거의 발생하지 않고 대부분 다변량 문제가 발생한다. 그렇다면 이렇게 가설이 여러개인 다중 가설을 한 번에 검정해야 할까? 아니면 각각 검정해야 할까?

2. 하나의 가설을 여러번 검정하기?

우선 동일한 $\alpha$(1종 오류가 발생할 확률(비율))을 가정하고 단일 가설을 $p$번 검정하는 방법이 있다.(이를 Individual한 방법이라고 도 한다.) 하지만 이는 가설의 개수가 많아질수록 $\alpha$값이 증가한다는 치명적인 문제를 발생시킨다. 다음 그림을 보자. $\alpha$값을 0.01로 동일하게 설정하고 가설을 100번 검정했을 때이다.

 

100번의 가설검정을 한 후 $\alpha$값의 변화

 

위 표를 보면 가설검정을 10번까지만 수행하더라도 초기값이 0.01이었던 $\alpha$값이 0.1까지 상승한 것을 볼 수 있다. 심지어 100번까지 수행하게 되면 0.63까지 상승하게 된다. $\alpha$값이 0.63이라는 것은 1종 오류가 발생할 확률을 63%까지는 인정하는 것을 의미한다. 결국 1종 오류가 매우 많이 발생함에도 문제라고 생각하지 않는다는 것이다! 이러한 문제를 Multiplicity 문제라고 한다. 따라서 동일한 $\alpha$값을 설정하고 $p$번 단일 가설 검정을 반복하게 되면 Multiplicity 문제가 발생한다.

3. 여러개의 가설을 하나로 취급하자!

그래서 이를 해결하고자 모든 가설을 하나로 취급하는 FWER(Family-Wise Error Rate) 방법이 존재한다. 이 방법은 가설 검정 개수가 10개일 때까지는 Multiplicity 문제를 어느정도 해결하지만 그 이상의 100개, 1000개로 가게 되면 Individual한 방법과 동일하게 Multiplicity 문제가 발생한다.

4. P-value의 임곗값을 찾자, FDR !

결국 FWER 방법도 해결하지 못한 문제점을 보완하기 위해 FDR(False Discovery Rate) 방법이 등장한다. 이는 기각된 가설 중 잘못 기각된 가설이 차지하는 평균 비율을 뜻한다. 이렇게만 설명하면 이해가 잘 안 된다. 우선 다음 그림을 살펴보자.

 

P-value를 기준으로 오름차순 정렬하자.

 

위 그림을 보면 알겠지만 우선 동일한 $\alpha$값을 설정하고 각 $x_i$에 대한 $p-value$값을 구하고 $p-value$값이 작은 순서대로 정렬한다. 이렇게 하면 하나의 $p-value$에 매핑된 변수인 $x_i$ 와 가설검정 $H_i$도 같이 정렬이 된다.

 

FDR의 포인트는 이렇게 정렬된 $p-value$에서 '특정한 $p-value$값' 보다 작은 가설 검정들은 중요한 가설 검정들이며 결국 그 가설 검정에 매핑된 변수 $x_i$들은 이상 탐지에 중요한 변수(인자)임을 판단하는 $p-value\,Threhsold$ 값을 구하는 것이다.

 

FDR을 이용해 $p-value Threshold$값을 구해보자.

 

FDR은 이 $p-value\,Threhsold$를 구하기 위해 특정한 공식과 $\alpha$값을 이용한다고 한다. 이 때 $\alpha$값은 모든 가설 검정 시 적용하는 동일한 1종 오류 허용 비율 값이다. 우선 $p-value\,Threhsold$를 구하는 공식은 다음과 같다. 이 때 $i$는 해당 $p-value$의 순위, $m$은 전체 $p-value$의 총 개수를 의미한다.(참고로 $\pi_0$는 강의 속 교수님께서 1로 설정한다고 언급하셨다. 자세한 건 해당 논문을 살펴봐야 할 것 같다.)

 

$$\widehat{i} = \max i \left[P_i \le {i\over m}\cdot{\alpha\over\pi_0}\right]$$

 

결국 위 조건식을 만족하는 $i$값을 찾아야 한다. 이를 이해하기 위해 예시를 하나 들어보자.

 

Rank($p-value$ 오름차순)	$p-value$	$i / m \cdot \alpha$	중요 변수 여부
1	0.0001	0.0033	Yes
2	0.0004	0.0067	Yes
3	0.0019	0.0100	Yes
4	0.0095	0.0133	Yes
5	0.0201	0.0167	No
6	0.0278	0.0200	No
7	0.0298	0.0233	No

 

위와 같이 $p-value$를 정렬하고 위에서 본 공식에 대입해 값을 구했다. 이제 $p-value\,Threhsold$를 찾아보자. 위 공식을 만족하는 값을 찾기 위해서는 Rank가 낮은 순위부터 거슬러 올라가면서 $p-value$가 더 작아지기 시작하는 $i$값을 찾으면 된다.

 

위 데이터에서는 $i = 4$일 때 해당 조건을 만족한다. 따라서 Rank가 4이전의 $p-value$값에 해당하는 $x_i$ 변수들이 중요한 변수임을 판단할 수 있다.

 

그런데 지금까지 알아본 FDR 방법은 모든 $x_i$값들이 정규분포임을 가정한 상태로 진행한 것이다. 왜냐하면 가설 검정을 진행할 때 분포가 정규분포와 유사한 형태의 t-분포임을 가정하고 진행하기 때문이다. 그렇다면 $x_i$값들이 정규분포인지 아닌지 모를 때는 어떻게 할까?

5. 비모수 방법론으로서의 일변량 FDR !

바로 반복 Sampling 기반 FDR을 수행하면 된다. 이는 주어진 $x_i$ 변수의 값들을 마구섞는 shuffle을 반복적으로 수행 하고 이를 기반으로 FDR을 수행하는 것이다. 다음 그림을 보자.

 

$x_1$을 반복적으로 Shuffle 시켜보자.

 

위처럼 $x_1$에 대해 반복적으로 shuffle을 수행하고 정상/비정상 집단에 따라 평균값을 취하고 그 차이를 계산한다.

 

$$ T_x = {\left\vert \bar{x_i}_{normal} \right\vert} - {\left\vert \bar{x_i}_{abnormal} \right\vert}$$

 

그리고 $n$번 반복해 Shuffle한 횟수만큼의 $T_x$를 구하고 이 $n$개의 $T_x$ 중 Shuffle하기 전인 $T_x$보다 큰 값이 몇 개인지 비율을 계산함으로써 $p-value$를 계산할 수 있다.

 

$$p-value_x = {{Number\,\ge T_x}\over{Sampling\,number\,of\,shuffle}}$$

6. 비모수방법론으로서의 다변량 FDR !

다음은 위 상황에서 다변량의 변수가 존재할 때 반복 Sampling 기반 FDR을 수행하는 방법을 알아보자. 본질은 똑같으나 $p-value$ 계산식에서 분모에 변수의 개수를 추가적으로 곱해준다. 즉, 다른 변수의 존재도 고려해주는 것이다. 공식은 다음과 같다.

 

$$p-value_x = {{Number\,\ge T_x}\over{Sampling\,number\,of\,shuffle \cdot number of features}}$$

 

예를 들어, $x_1$와 $x_2$ 두 개의 변수가 존재할 때, $x_1$의 $p-value$를 구하기 위해서 $x_1$뿐만 아니라 $x_2$도 다 같이 shuffle을 시킨 후 집단에 따른 평균차이 값을 구하고 $T_{x1}$과 비교할 때 $T_{x2}$로 구해진 $T_{x2}$와도 비교를 하는 점이다. 

 

만약 $T_{x1}$ 값이 매우 큰 값이라고 했을 때, $T_{x2}$값이 중에 $T_{x1}$값 보다 매우 큰 값이 있다면 그것은 결국 $x_2$가 $x_1$보다는 중요하다는 뜻이기 때문이다. 그래서 다른 변수와의 비교를 통해 다른 변수들을 고려하게 되는 것이다.