[ML] SPP(Spatial Pyramid Pooling) Object Detection 모델

🔊 해당 포스팅에서 사용된 컨텐츠는 인프런의 딥러닝 컴퓨터 비전 완벽 가이드 강의 내용을 기반으로 했음을 알립니다. 설명에서 사용된 자료는 최대한 제가 직접 재구성한 자료임을 알립니다.

 

이번 포스팅에서는 이전 포스팅에서 소개했던 RCNN 모델의 단점을 극복하는 SPP(Spatial Pyramid Pooling) 모델에 대해 알아보려고 한다. 해당 모델을 이해하기 위해서 RCNN 관련 포스팅을 읽고 오는 것을 권장한다.

 

SPP의 Pyramid Pooling은 무엇을 의미하는 걸까?

---

1. SPP Net 과 RCNN의 관계

먼저 SPP Net에 대해 알아보기 전에 SPP Net은 RCNN의 한계점을 극복하고자 나온 모델이다. 그렇기 때문에 RCNN의 한계점을 간단하게 다시 복습해보고 이 2가지에 중점을 두고 SPP 모델을 이해해보자.

 

• 각 Region Proposal 마다 Object Detection을 별개로 수행해주어야 해서 매우 오랜 학습시간이 소요된다.
• 여러개의 Region Proposal들을 Pretrained된 Feature Extractor가 요구하는 고정된 사이즈로 통일시켜주어야 해서 Region Proposal을 자르거나 찌그러뜨려 이미지를 손상(?)시키게 된다.

SPP 모델은 위와 같은 2가지 문제를 해결한다. 그 중에서 2번째의 문제를 해결하는 데 집중되어 있다. 먼저 SPP 모델의 큰 아키텍처를 살펴보자.

 

SPP Net의 전반적인 아키텍처

 

위 그림에서 $\cdots$ 부분은 기본적인 Object Detection Network들의 객체 클래스 분류를 위한 Softmax Layer와 SVM Classifier, 그리고 분류한 객체를 표시하는 Bounding Box의 좌표를 회귀하는 구조로 RCNN 모델과 동일하다.

 

먼저 인풋 이미지는 한 번은 Selective Search를 수행해서 Region Proposal을 수행해주고, 한 번은 Feature Extractor로 들어가 인풋 이미지의 Feature Map을 추출한다. 이 때 주목할 점은 Selective Search를 통해 나온 Region Proposal들 중 이미지의 Feature Map과 비슷한 Region 끼리 매핑을 시켜준다.(이를 ROI=Regions Of Interest 라고도 한다.) 이러한 방법은 이전의 RCNN에서 하나의 Region Proposal 마다 Feature Extractor에 각각 들어가면서 생기는 '오랜 학습 시간'이라는 문제를 해결해준다.

 

매핑하는 과정을 끝내면 매핑된 [하나의 Region Proposal - 하나의 Feature Map] 들이 모여 여러개의 [하나의 Region Proposal - 하나의 Feature Map] 매핑된 값들이 있을 것이다. 그런데 앞서 말했던 것처럼 Region Proposal은 각기 서로 크기가 다르기 때문에 Flatten Layer로 변환하는 데 문제가 발생한다. 따라서 우리는 이제 SPP 과정을 통해 이를 해결하는 방법에 대해 알아보자.

2. SPP Net이란?

정확하게 말하면 SPP Net은 SPP라는 Pooling Layer가 여러개 겹쳐있는 네트워크를 의미한다. 그래서 우리는 SPP라는 Pooling 과정이 무엇인지 이해하는 것이 우선이다. 텍스트로 SPP를 정의하자면, SPP는 특정 Pooling 과정을 통과하면 사이즈가 다른 Region Proposal들을 고정된 사이즈의 벡터들로 변환시키는 과정이다.

 

SPP는 원래 단일 CNN 모델을 사용하는 이미지 분류 문제에서 서로 다른 이미지의 크기를 고정된 크기로 변환하는 기법으로 자주 사용되었다고 한다. 결국 크기가 다른 이미지들은 자르거나 변형하는 것이 아닌 SPP라는 과정을 통해 지정된 사이즈로 통일시켜준다는 것이다. 그래서 SPP를 사용하게 되면 이미지 분류 시 CNN 모델 과정이 다음과 같이 차이점이 생긴다.

 

일반적인 CNN, SPP 적용 CNN 모델 구조 차이

 

그림에서 보다시피 SPP를 적용하게 되면 이미지를 변형할 필요가 없다. 단, SPP는 Convolution이 적용되는 CNN Model을 거치고 난 후 적용된다. 왜냐하면 SPP를 이용해서 동일한 크기 사이즈의 벡터로 결합을 하고 Flatten 시켜 FC Layer를 만들어야 하기 때문이다.

3. SPP의 조상은 SPM이다!

SPP는 원래 SPM(Spatial Pyramid Matching)에 기반을 둔 방법이다. 따라서 SPP를 이해하기 전에 SPM을 먼저 이해해야 한다. SPM은 마치 NLP(자연어 처리) 분야에서 Bag of Words와 비슷하다. Bag of Words란, 특정 문서에서 단어의 빈도수에 기반해 만든 벡터를 의미한다. 예를 들어, "강아지는 동물이다. 강아지는 사람을 잘 따르고 가끔은 인간보다 똑똑한 것 같다. 그러나 강아지의 실제 IQ 지수는 그렇지 않다." 라는 문장이 있다고 가정하자. 이 문장에서 각 단어의 빈도수를 count 해보면 '강아지' 라는 단어가 가장 많을 것이다. 따라서 해당 문장은 '강아지' 라는 주제에 관한 문장임을 추측할 수 있다.(그래도 Bag of Words에 대한 개념이 와닿지 않는다면 여기를 참고해 보세요!)

 

이러한 Bag of Words에 대한 원리를 이미지 분야에 적용한 것이 Bag of Visual Words라고 한다. 다음 그림을 보자.

 

Bag of Visual Words

 

위 그림처럼 3개의 원본 이미지가 있다고 가정했을 때, 이미지의 Region 별로 여러개의 Feature들을 추출한다. 그리고 각 Feature 별로 이미지에서 나타나는 빈도수를 count하고 히스토그램으로 표시한다. 그래서 "어떤 Feature들이 많이 나타나면 어떤 이미지일 것이다!" 라는 추론이 가능하다.

 

하지만 이렇게 Bag of Visual Words만 사용해서는 치명적인 단점이 있다. 바로 이미지의 위치적인 특성을 고려하지 못한다는 것이다. 이미지의 위치적인 특성이란 예를 들면, 나무(tree)를 상징하는 Feature들이 가장 많이 나와서 "이거는 '숲' 이미지일거야!" 라고 추론했지만, 원본 이미지를 살펴보니 이미지가 담고 있는 중심 내용은 숲이 아니라 사람들이었다. 바로 아래의 사진과 같이 말이다.

 

Feature의 위치적 특성을 고려하지 못하면 이 사진을 '숲' 이미지로 판단할 수도 있을 것이다.

 

그래서 이러한 문제점을 극복하기 위해서 이미지를 분할해 분면을 나누는 해결책이 제시된다. 즉, 이미지를 여러개의 면으로 분할해서 각 분면마다 Bag of Visual Words를 적용하는 것이다. 그리고 이 분할하는 분면을 여러번 진행한다. 이해를 위해 다음 그림을 보자.

 

분할을 활용한 SPM 과정

 

해당 그림은 필자가 배운 내용을 토대로 직접 만들어본 자료다. 위와 같이 분면을 아예 하지 않았을 때, 4분면으로 나누었을 때 2번을 수행하여 SPM을 진행하고 이를 기반으로 Count한 벡터들을 하나로 결합한다. 해당 예시에서는 2번만 분할을 수행했지만 경우에 따라 8분면, 16분면 등 여러 번 분면을 수행해서 고정된 사이즈로 벡터를 결합할 수 있다.

 

위와 같은 분면을 사용한 SPM을 사용하게 되면 Feature Map 또는 Region Proposal 사이즈가 서로 달라도 분면 나누는 개수, 횟수를 동일하게 설정만 한다면 결합한 벡터들의 사이즈는 동일하게 된다. 

 

그렇다면 SPP는 무엇일까? 바로 위 그림에서 Count 벡터를 추출할 때 Max값만 Pooling 해서 벡터를 결합하는 것이다. 바로 다음과 같이 말이다.

 

SPP는 SPM에서 Max Pooling을 적용한 것이다!

 

최종적으로 위와 같이 SPP 과정을 통해서 벡터를 동일한 사이즈로 만들고 이제 Dense Layer로 넘겨주면서 최종 클래스를 분류하고 동시에 Bounding Box 회귀를 수행한다. 끝으로 SPP Net에 대한 큰 아키텍처의 사진 자료를 보고 마무리하자.

 

SPP Net의 아키텍처

---

 

지금까지 RCNN의 문제점을 해결할 수 있는 SPP Net에 대해 알아보았다. 이러한 SPP Net을 약간 변형시킨 버전이 바로 Fast RCNN 모델이다. 다음 포스팅에서는 Fast RCNN에 대해 알아보고 SPP Net과 어떤 차이점이 있는지에 대해서 알아보도록 하자.