[ML] Explainable AI - Shapley Value

🔉해당 포스팅에서 사용된 자료는 고려대학교 산업경영공학부 김성범교수님의 Youtube 강의자료에 기반했음을 알려드립니다. 혹여나 출처를 밝혔음에도 불구하고 저작권의 문제가 된다면 joyh951021@gmail.com으로 연락주시면 해당 자료를 삭제하겠습니다. 감사합니다.

 

이번 포스팅에서는 설명이 가능한 인공지능(Explainable AI)을 만들기 위한 하나의 요소로서 Shapley Value에 대해 소개하고자 한다. Explainable AI라고 하면 무엇인가 엄청 거대해 보일 수 있지만 우리가 흔히 사용해왔던 Scikit-learn 라이브러리에서도 관련된 것들을 찾아볼 수 있다. 예를 들면 Tree-based 알고리즘이나 Boosting 계열 알고리즘들은 Feature Importance라고 Feature 별 중요도를 계산해주는 메소드가 있다. 또한 특정 입력 변수를 Shuffle 하고 예측력을 테스트해서 Shuffle 하기 전/후 예측력의 차이가 많이 나면 그만큼 중요하다고 판단하는 Permutation Importance 메소드도 존재한다.

 

이와 비슷한 또 다른 방법으로 Shapley Value가 있다. 기본적으로 게임 이론에서 기반한 이론이라는데, 해당 강의 속 교수님은 게임 이론에 대한 지식이 전무하더라도  Shapley Value 이론에 대해서 충분히 익힐 수 있다고 하면서 설명을 시작하신다. 그럼 이제 Shapley Value에 대해서 본격적으로 알아보자.

 

XAI(Explainable AI)는 정말 가능할까?

---

Shapley Value의 기본적인 아이디어는 특정 변수가 예측력에 얼마나 기여하는지 파악하기 위해 이 특정 변수와 관련된 모든 변수 조합들을 입력시켰을 때 나온 결과값과 비교를 하면서 변수의 기여도를 계산하는 방식이다. 좀 더 직관적으로 이해하기 위해 강의 속 교수님께서 들어주신 간단한 예시를 통해서 함께 이해해보자.

 

예시 데이터

 

위와 같이 3개의 변수 $x_1$ 부터 $x_3$ 까지 3개의 입력변수가 주어진 데이터가 있다고 가정하자. 그리고 Case 1번부터 8번까지 입력 데이터 변수가 들어갈 수 있는 모든 조합이 있다. 이제 우리는 $x_1$에 대한 Shapley Value를 구해보자. 

 

우선적으로 $x_1$ 변수를 사용했을 때의 예측값과 $x_1$ 변수를 사용하지 않았을 때의 예측값 간의 차이 값을 계산하면서 대략적인 $x_1$의 기여도를 계산해보자.

 

서로 같은 색깔들끼리의 Case 간의 예측값을 빼자.

 

위 사진에서 같은 색깔에 속하는 Case들끼리 예측값을 빼보자. 잘 살펴보면 같은 색깔들끼리 비교해보면 $x_1$ 변수 사용 여부에 따라 짝지어지는 것을 알 수 있다. 그래서 계산을 해보면 다음과 같아진다.

 

• Case 2 - Case 1 = 32 - 28 = 4
• Case 5 - Case 3 = 32 - 31 = 1
• Case 6 - Case 4 = 33 - 30 = 3
• Case 8 - Case 7 = 35 - 32 = 3

이제 위 결과값들에 대해서 가중치를 부여해야 하는데, 가중치는 변수를 몇개 사용하는지에 따라 경우의 수를 따지면서 부여한다. 먼저 위 그림에서 파란색 네모칸인 Case 1, Case 2에 대한 가중치를 구하기 위해 변수 1개만 사용한 경우에 대해서 살펴보자.

 

 

위 그림에서 변수가 무엇이 됐건 1개만을 사용한 경우는 주황색 네모칸처럼 3개이고 각 주황색 네모칸 마다 변수를 제거할 수 있는 경우는 각 1가지씩이므로 총 경우의 수는 3가지가 된다. 이 때 이 경우의 수 3가지를 분모로 한다. 그리고 이 중에 우리가 Shapley Value를 구하고자 하는 $x_1$ 변수를 제거한 경우는 보라색 네모칸인 1가지 밖에 없다. 따라서 이에 대한 가중치는 ${1 \over 3}$이 된다.

 

이제 다음으로 Case 3 & Case 5 인 경우와 Case 4 & Case 6 에 대한 가중치를 계산해보자. 먼저 Case 3 & Case 5에 대해 살펴보자.

 

 

변수 2가지만 사용한 경우들은 위 주황색 박스처럼 3개이다.  그리고 각 주황색 네모칸마다 변수를 제거할 수 있는 경우의 수는 각각 2가지이다. 예를 들어 Case 5번의 경우 $x_1$을 제거한 경우 또는 $x_2$를 제거한 경우 총 2가지가 나오게 된다. 결국 주황색 박스가 3개 이고 각 박스마다 2가지의 경우수가 나오므로 총 경우의 수는 6가지가 된다. 이 때 이 경우의 수 6가지를 분모로 한다. 이제 2가지 변수를 사용했을 때 우리가 구하고자 하는 $x_1$ 변수를 제거한 경우는 Case 3 1가지 경우밖에 존재하지 않는다. 따라서 Case 3 & Case 5에 대한 가중치는 ${1 \over 6}$이 되게 된다. Case 4 & Case 6도 Case 3 & Case 5 경우와 동일하므로 똑같이 가중치가 ${1 \over 6}$이 된다.

 

이제 마지막으로 3개의 변수 모두 사용한 경우를 살펴보자. 

 

 

위 그림처럼 변수 3가지를 모두 사용한 경우는 주황색 박스 1개이며 이 때 변수를 1개 제거할 수 있는 경우는 $x_1$을 제거하거나 $x_2$를 제거하거나 $x_3$를 제거하거나 총 3가지의 경우가 있다. 그리고 우리가 구하고자 하는 변수 $x_1$를 제거한 경우는 Case 7 한 가지 경우이므로 결국 가중치는 ${1 \over 3}$이 되게 된다.

 

최종적으로 맨 처음에 구했던 예측 값 차이에 대해 방금까지 구했던 가중치들을 매핑시켜서 곱해주어 $x_1$ 변수에 대한 Shapley Value를 구할 수 있다. 이런 식으로 나머지 변수 $x_2$, $x_3$에 대해서도 각각 구해주면 된다.

 

$x_1$에 대한 Shapley Value

 

참고로 모든 변수의 Shapley Value 합은 모든 변수를 사용했을 때의 예측값에서 어떤 변수도 사용하지 않았을 때의 예측값을 뺀 결과값과 동일하게 된다.

 

Shapley Value를 Python으로 구현하기 위해 만들어진 라이브러리가 존재한다. 해당 라이브러리를 통해 변수별 중요도를 출력하면 다음과 같은 그래프가 나오게 되는데 간단하게 해석하는 방법에 대해 알아보자. 아래 데이터는 유명한 타이타닉 승객 사망 예측에 활용되는 데이터를 활용했다.

 

타이타닉 데이터에 대한 Shapley Value 결과 그래프

 

우선 왼쪽 그림을 살펴보자. 왼쪽 그림의 Feature Value라고 쓰여져 있는 부분은 그야말로 Feature 자체의 값이다(변수 중요도 값이 아님에 주의!) 중요도 값은 왼쪽 그림의 X축에 SHAP value 라고 쓰여져 있는 부분이다. 예시를 하나 들어보자. Sex 라고 되어있는 성별이라는 Feature를 살펴보자. 타이타닉 데이터의 Y값은 0이면 생존, 사망했으면 1로 매핑되어 있다. 성별은 참고로 범주형 변수이기 때문에 해당 그래프에서는 파란색 값이 여성(0), 빨간색 값이 남성(1)로 되어있다. 즉, 남성일 수록 사망(1) Y값으로 내뱉는 경향이 강하다는 것을 의미한다. 

 

이번엔 연속형 변수인 Age를 살펴보자. 명확하게 나뉘진 않았지만 Age 값이 높은 빨간색 값들 즉, 노년층들이 생존에 더 가깝고 Age 값이 낮은 파란색 값들 즉, 청년층일수록 죽음으로 나오는 것을 알 수 있다.

 

이제 그림의 오른쪽 그래프을 살펴보자. 이는 흔하게 접했던 Tree-based 알고리즘의 Feature Importance 같은 그래프와 비슷한 의미를 나타낸다. 즉, 왼쪽 그래프는 하나의 관측치 마다의 전체 변수의 중요도를 각 나타낸 것이라면 오른쪽 그림은 전체 관측치에 대해서 전체 변수의 전반적인 중요도 값을 나타낸 것을 의미한다. 그래프를 살펴보면 Sex(성별), Age(연령)가 주로 예측력에 많이 기여한 변수라는 것을 알 수 있다.

---

지금까지 설명가능한 AI(XAI)를 만들기 위한 하나의 방법으로서 Shapley Value를 구하는 방법에 대해 알아보았다. 마지막으로 Shapley Value가 갖는 장, 단점에 대해 이야기하고 글을 마치려 한다.

 

먼저 LIME 알고리즘과는 달리 모든 학습 데이터에 대한 예측값을 기준으로 시작을 하게 되서 모든 데이터 중 관심있는 관측치의 위치를 파악하고 해석할 수 있다. 또한 정형 데이터의 경우, 관측치 별 해석과 전반적 변수 중요도를 산출이 가능하다(바로 위에서 Shapley Value 그래프 2개를 살펴보았듯이). 이건 장점이라고 하기에는 애매할 수 있지만 어떤 예측 모델을 사용하는 것에 상관없이 모두 Shapley Value 알고리즘을 사용할 수 있다. 이를 Model-Agnostic 이라고도 한다.(Agnostic이 ~에 관계없이 라는 의미라고 한다)

 

반면, Shapley Value는 위 예시에서도 살펴보았지만 3개의 변수만 있어도 8개의 경우의 수가 나오게 된다. 따라서 변수의 개수가 늘면 모든 경우의 수가 기하급수적으로 증가하기 때문에 많은 컴퓨팅 비용이 요구된다. 그리고 Shapley Value는 모델을 모두 학습하고 평가한 후에 수행하는 사후분석의 방법 중 하나로서 Shapley Value 결과만으로 어떤 변수로 인해 어떤 결과가 나왔다는 인과관계를 정립시킬 수 없다.(물론 예측력에 주요하게 기여한 것은 맞지만 이를 일반화시킬 수는 없다)