[ML] Explainable AI - CAM & Grad CAM

🔉해당 포스팅에서 사용된 자료는 고려대학교 산업경영공학부 김성범교수님의 Youtube 강의자료에 기반했음을 알려드립니다. 혹여나 출처를 밝혔음에도 불구하고 저작권의 문제가 된다면 joyh951021@gmail.com으로 연락주시면 해당 자료를 삭제하겠습니다. 감사합니다.

 

이번 포스팅에서는 컴퓨터 비전 분야의 이미지 분류 문제에 있어서 CNN 딥러닝 모델의 예측 결과를 설명해줄 수 있는 요소 중 하나인 CAM(Class Activation Map) 과 이를 응용한 방법인 Grad CAM 방법에 대해 알아보려고 한다. 저번 포스팅에서는 Tabular data 즉, 정형 데이터에서 예측 결과를 설명할 수 있는 요소인 Shapley Value를 알아보았다. 이번에는 도메인을 변경하여 컴퓨터 비전 분야에서 알아보려고 한다. 해당 포스팅을 이해하기 위해서는 CNN 모델에 대한 개념이 전제되어야 하므로 혹시 CNN 모델에 대해 모른다면 여기를 읽어보고 오자.

 

컴퓨터 비전 분야에서의 이미지 분류 예측 결과는 어떻게 설명할 수 있을까?

 

CNN 모델이 강아지 사진을 인풋으로 받아들여서 분류 결과를 강아지로 예측했다. 그렇다면 대체 CNN 모델이 인풋 이미지의 어떤 부분을 중점적으로 보고 해당 인풋 이미지가 강아지 사진이라는 것을 예측했을까? 인공지능이라도 그렇게 판단한 정량적인 이유가 분명히 있을 것이다. 이러한 이유를 알 수 있는 방법 중 하나가 바로 CAM(Class Activation Map)이다. 우선 CAM을 이해하기 전에 간단하게 CNN 모델이 어떤 구조였는지 잠깐 상기시켜보자.

 

CNN 모델 구조

1. GAP를 활용한 CAM

위와 같이 인풋 이미지가 CNN 모델로 들어가게 되면 여러 단계의 컨볼루션 과정을 거치고 분홍색 네모칸처럼 최종 Feature Map 상태가 된다. 그리고 이 Feature Map을 Flatten 해주고 최종 클래스 분류를 예측하게 되는데, CAM은 Feature Map에서부터 이 Feature Map을 Flatten 해주고 결과값을 분류하는 단계까지를 포괄한다. 그림으로 표시하면 다음과 같다.

 

CAM은 CNN에서 어디 단계에 위치할까?

 

즉, 인풋이미지가 CNN 모델로 인해 클래스 분류가 된 후, 어떤 픽셀 부분이 클래스 예측에 큰 영향을 주었는지 확인하기 위해 최종 Feature Map에 각 채널마다 GAP 과정을 거친 후의 값들을 Input 노드로 하고, Ouput 노드를 최종 클래스로 하는 뉴럴 네트워크를 학습시키게 된다. 이제 CAM이 구체적으로 어떻게 작동하는지 이해하기 위해 위 CAM 단계를 좀 더 확장시켜보자.

 

GAP를 사용한 CAM

우리는 $Class\ 1$로 분류된 결과를 설명하는 상황이라고 가정해보자. 위와 같이 Feature Map의 Channel 1개 마다 GAP(Global Average Pooling)을 적용해서 하나의 Scala 값을 계산한다. 이 때 GAP란, 쉽게 말해서 Avreage Pooling을 의미한다. 즉, Feature Map의 픽셀값들에 대한 평균값을 낸다. 그렇게 각 채널마다 GAP를 적용해 $a, b, c$ 값을 계산한다. 그리고 이 3개의 값들을 인풋 데이터로 하고 클래스 분류 결과값을 Output으로 하는 뉴럴 네트워크를 학습시킨다. 그러면 위 그림에서 처럼 각 GAP 값($a, b, c$) 마다 관련되어 있는 $w_1, w_2, w_3$ 값이 학습될 것이다. 

 

그런 다음 학습된 $w_1, w_2, w_3$ 값을 각각 관련되어 있는 Feature Map 채널에다가 곱해준다. 바로 아래 그림처럼 말이다.

 

각 Weight 값을 각 채널 마다 곱해준다

 

위처럼 이렇게 가중치가 곱해진 각 채널을 다시 합친다. 이렇게 Weighted Sum된 Feature Map을 Graphical 하게 시각화하면 다음과 같이 나타내지게 된다.

 

GAP를 활용한 CAM

2. Grad CAM

다음으로 소개할 방법은 위에서 알아보았던 CAM 기법을 응용한 Grad CAM 기법에 대해 알아보자. 기존 CAM은 GAP(Global Average Pooling)을 활용했지만 이번에 소개할 Grad CAM 기법은 GAP를 사용하지 않는다. 그런데 여기서 잠깐 생각해보자. 그렇다면 GAP를 왜 사용하지 않을까? 

 

GAP는 위에서 알아보았던 것처럼 Feature Map의 각 채널마다 GAP를 취한 값을 하나의 Input으로 설정해서 뉴럴네트워크를 학습시켜야 한다. 결국 필수적으로 하나의 추가적인 뉴럴 네트워크를 사용하고 이는 결국 높은 컴퓨팅 비용 문제가 자연스럽게 발생한다. 이러한 문제점에 착안하여 Grad CAM은 기존 CAM 처럼 새로운 뉴럴 네트워크를 추가하지 않고 이미지 분류 결과를 설명할 수 있는 방법을 제시한다. Grad CAM의 'Grad' 는 'Gradient(미분=변화량)'을 뜻하는데, 왜 'Gradient'를 활용하는지, 또 Grad CAM이 어떤 방식으로 동작하는지 한번 살펴보자.

 

Grad CAM 구조

 

Grad CAM는 특이하게 Feature Map의 각 채널들을 Flatten 시키는 과정을 거친다. 이렇게 각 채널을 Flatten 시킨 후 클래스 분류 결과값인 Output 과의 가중치($w_i$)를 활용한다. 즉, Flatten 시킨 일종의 Input 노드들이 특정 클래스로 분류되는 것에 영향을 미치는 값으로서 $w_i$가 정의된다. 이 때 $w_i$ 값들에 대해 구하기 위해서 다음과 같은 계산 과정을 거친다.

 

Grad CAM에서 각 채널마다 Weight를 계산하는 방법

 

예를 들어 $Class\ 1$ 로 예측값이 나왔다고 가정하고 각 Feature Map의 채널마다 Weight 값을 구해준다. Weight 값을 구해주는 수식을 살펴보자. 분자인 특정 클래스 $y^{c_1}$으로 분류되는 값을 분모인 $\partial {A_{ij}}^k$는 특정 Feature Map 채널의 한 픽셀(Feature Map의 한 칸)값들 기준으로 한번씩 차례로 편미분을 수행해주는 것을 의미한다.(이 때, 편미분을 수행해준다는 것은 최종 클래스 값을 기준으로 얼마나 '변화'하는지에 대한 변화량을 의미하기 때문에 Grad CAM의 'Grad' 가 'Gradient(미분 = 변화량)'을 의미하는 것이다.)

 

그리고 이를 모두 합한 후 Feature Map의 채널 당 픽셀 총 개수인 $z$ 값으로 나누어 주어 평균을 취해준다. 이렇게 각 Feature Map의 채널마다 똑같이 수행해준다. 그리고 다음 그림과 같이 각 Feature Map 채널에다가 각 채널에 매핑되서 계산된 Weight 값을 곱해주고 채널들을 다시 합친다.

 

Feature Map 각 채널에 Weight를 곱해서 Feature Map에 일종의 변화가 발생

 

그리고 기존 CAM처럼 가중치가 더한 것이 반영된 Feature Map을 그래피컬하게 그려보면 다음과 같이 시각화가 된다.

 

CAM, Grad CAM을 인풋이미지에 시각화를 시켜보자