[ML] GoogleNet(InceptionNet) CNN 모델

🔊 해당 포스팅은 권철민님의 CNN Fundamental 완벽 가이드 강의를 듣고 난 후 배운 내용을 정리하고자 하는 목적 하에 작성되는 포스팅입니다. 하단의 포스팅에서 사용되는 실습 코드 및 자료는 필자가 직접 재구성한 자료이며 권철민님의 자료를 그대로 인용하지 않았음을 필히 알려드립니다. 

 

이번 포스팅에서는 Pretrained 모델로 자주 사용되기도 하며 1 by 1 컨볼루션을 최초로 도입한 GoogleNet 모델에 대해 알아보려고 한다. GoogleNet은 Inception Network라고도 부르며 예전에 코세라 딥러닝 강의를 들으면서 배웠던 적이 있다. 강의를 들은지 시간이 좀 되었기도 하고 다시 회고하고 복습하고자 GoogleNet에 대해 작성하려 한다.

 

GoogleNet은 Google에서 만든 CNN 모델이다.

---

GoogleNet은 이름에서도 알다시피 Google에서 만들었다. 그치만 더 기억해야 할 중요한 포인트는 GoogleNet이 1 by 1 컨볼루션을 모델에 도입한 최초의 시도라는 것이다. 물론 1 by 1 컨볼루션이라는 개념은 GoogleNet이 등장하기 전에 이미 존재했다고 한다. 하지만 이를 활용해 모델에 도입한 것은 GoogleNet이 최초라고 한다. 그리고 잘 활용했다는 증명이라도 하듯이 이전의 CNN 계열에서 뛰어난 모델인 AlexNet, VGG 계열 모델을 모두 제치고 성능 1등을 차지하게 된다.

 

GoogleNet은 Inception 모듈이라는 것을 연속적으로 이어 붙인 모델이다. 그래서 GoogleNet의 이름이 Inception Network라고 불리는 이유다. 하단의 GoogleNet 모델의 전체 아키텍처 그림이다.

 

GoogleNet 아키텍처

 

아키텍처를 보니 상당히 깊고 복잡하다. GoogleNet을 이해하기 위해서 위 그림에서 Inception 이라고 작성되어 있는 인셉션 모듈을 이해해야 한다. 그리고 이 인셉션 모듈을 이해하기 위해서는 1 by 1 컨볼루션을 이해하고 왜 활용하는지에 대해 알아야 한다.

1. 컨볼루션의 사이즈가 1 이라고?

1 by 1 컨볼루션은 그야말로 필터의 커널 사이즈가 1인 것을 의미한다. 그런데 왜 굳이 1 by 1 컨볼루션을 사용할까? 이 질문에 답하기 전에 원초적인 CNN 기본에 대해 돌아가보자. 고전적인 CNN 모델들은 레이어가 깊어질수록 피처맵의 채널수가 커진다. 이렇게 하는 이유는 이미지에서 더 다양한 특징을 추출하기 위함이다. 그런데 문제는 레이어가 매우 깊어질수록 피처맵의 채널수는 매우 커지겠지만 파라미터 개수가 증가함에 따라 연산량도 같이 증가하게 된다. 이렇게 되면 모델의 오버피팅 가능성이 급격하게 증가한다. 그리고 사이즈가 1이 아닌 일반 컨볼루션을 사용하게 되면 컨볼루션 과정을 거듭할수록 피쳐 맵의 높이, 너비가 점점 작아져 이미지의 유의미한 특징을 상징적으로 나타내기가 어려워진다.

 

그런데 1 by 1 컨볼루션은 위의 문제점들을 해결한다. 즉, 1 by 1 컨볼루션을 수행해 파라미터를 감소시켜주면서 채널 수를 깊게 한 것 만큼이나 다양한 특징을 추출해줄 수 있게 해준다. 이렇게 텍스트로는 이해가 잘 안될 것이다. 하단의 그림을 통해 이해해보자. 

 

1 by 1 컨볼루션 유무에 따른 파라미터 개수 차이

 

우선 A의 경우를 보자. 1 by 1 컨볼루션을 적용하지 않고 일반적인 컨볼루션을 적용한 결과다. A의 경우 계산할 파라미터 개수는 89,856개가 된다. 그렇다면 B의 경우를보자. B에서 Feature Map 3로 갈 때까지 A와는 다르게 컨볼루션을 2번의 과정을 거쳤다. 첫 번째에는 1 by 1 컨볼루션을 수행했다. 1 by 1 컨볼루션은 이전의 피쳐 맵 사이즈를 유지하면서 채널 수를 줄이거나 늘릴 수 있다. 보통은 채널 수를 줄이는데 1 by 1 컨볼루션이 사용된다.

 

위 그림에서는 Feature Map1에서 156개의 채널 개수를 16개로 줄였다.(이 때, 줄일 채널 개수는 사용자가 선택을 해주어야 한다. 얼마나 채널수를 압축시킬지) 그리고 Feature Map 3을 만들기 위해 또 한 번의 3 by 3 컨볼루션을 수행했다. 그렇게한 후, A의 경우와 최종 Feature Map 사이즈가 동일하게 되었다. 그런데 B의 경우, 계산할 파라미터 개수를 세게 되면 11,712개가 된다. A의 경우보다 파라미터 개수가 현저히 줄어들었다. 또한 중간에 1 by 1 컨볼루션을 1번 더 수행했으니 Feature Map 2에 relu 같은 비선형 함수를 적용할 수 있게 된다. 이는 결국 비선형 함수를 더 추가함으로써 Feature Map에 비선형적인 특징을 더 가미하는 효과가 있다. 

 

따라서 1 by 1 컨볼루션을 사용함으로써 중간에 채널 개수를 압축시켜 정보 손실의 우려가 있지만 A의 경우보다 비선형 활성함수를 적용하는 횟수가 1회 더 늘어서 채널수를 깊게 한 것 만큼의 다양한 피처 추출을 가능케한다. 게다가 계산할 파라미터 개수를 현저히 줄어들게 함으로써 하드웨어 적인 문제도 해결한다. 

 

1 by 1 컨볼루션은 보통 입력 데이터에 바로 사용하기 보다 어느 정도 컨볼루션을 거친 후 나온 피처 맵에다가 적용하는 경우가 대부분이다. 그리고 원래 적용하려면 컨볼루션이 3 by 3 이라고 했다면 3 by 3 컨볼루션을 하기 이전에 1 by 1 컨볼루션으로 채널 개수를 압축시킨 후 나온 피처맵에 원래 하려던 3 by 3 컨볼루션을 적용하는 방식으로 구현한다고 한다.

2. Inception Module

이제 1 by 1 컨볼루션을 이해했으니, 인셉션 모듈이 어떻게 구성되는지 살펴보자. 하단의 그림은 GoogleNet의 인셉션 모듈 중 하나이다. 

 

하나의 인셉션 모듈

 

위 그림에서 Previous Layer는 말 그대로 이전 Layer를 의미한다. 이 때 핵심은 하나의 Previous Layer 마다 개별로 4번의 컨볼루션을 적용한 후 4개의 Feature Map이 나온다. 이 4개의 Feature Map을 Concatenate 해서 필터의 개수를 합쳐준다. 이를 도식화하면 아래와 같다.

 

Inception Module에서 필터들을 Concatenate하는 원리

 

위 그림을 보면 각각 컨볼루션을 거친 후의 Feature Map을 Concatenate하는 게 무엇인지 이해가 될 것이다. 단, 주의해야 할 점은 각 컨볼루션을 수행할 때, Previous Layer의 사이즈(28 x 28)을 똑같이 맞춰주어야 하기 때문에 padding 값을 항상 'same'으로 설정해주어야 한다.

3. GoogleNet

방금 배운 인셉션 모듈을 연속적으로 이어붙여 활용해 만든 것이 GoogleNet의 아키텍처이다. 다시 한번 전체 아키텍처 그림을 살펴보자.

 

GoogleNet 아키텍처

 

이제 어느정도 이해가 될 것이다. 단, 초기부터 인셉션 모듈을 도입하기 보다는 처음 원본 이미지에서 몇 번의 컨볼루션을 거치고 난 후에 인셉션 모듈을 적용한다. 또 특이한 점은 노란색 박스로 되어 있는 Auxiliary Classifier가 있다. auxiliary의 사전적 의미는 '보조자'라는 뜻으로, 이름 그대로 메인 Classifier의 보조 역할을 맡는 셈이다. GoogleNet이 보다시피 깊이가 매우 깊기 때문에 기울기 소실,발산 문제가 발생할 가능성이 있어서 중간 중간 Auxiliary Classifier의 아웃풋을 가지고 역전파를 같이 수행해주면서 기울기 값을 메인 Classifier 기울기에 더해줌으로써 기울기(Gradient)가 소실되지 않도록 해준다.