[ML] RCNN(Regions with CNN) Object Detection 모델

🔊 해당 포스팅에서 사용된 컨텐츠는 인프런의 딥러닝 컴퓨터 비전 완벽 가이드 강의 내용을 기반으로 했음을 알립니다. 설명에서 사용된 자료는 최대한 제가 직접 재구성한 자료임을 알립니다.

 

이번 포스팅에서는 RCNN(Regions with CNN) 모델에 대해 알아보려 한다. RCNN 모델은 저번 포스팅에서 소개했던 Regions Proposal을 CNN 모델에 결합하여 Object Detection을 수행하는 모델이다. 바로 하단의 그림에서 Object Detection Network에 해당하는 부분이다.

 

RCNN은 Object Detection Network에 속한다.(이 구조가 RCNN 구조를 의미하진 않습니다!)

1. RCNN 모델이란?

RCNN 모델은 Region Proposal을 Selective Search 방법으로 구현한 모델이다. 또한 Two-stage 모델로도 분류되는데, 여기서 2개의 Stage란, Stage 1은 Region Proposal을 하는 단계, Stage 2는 이미지가 Feature Extractor를 통과해 Object 클래스를 최종 분류하고 Bounding Box 회귀 문제를 수행하는 단계를 의미한다. 이렇게 2가지 단계로 분리되어 있다고 해서 Two-Stage라고 불린다.

 

이제 RCNN 모델의 전개 프로세스를 단계별로 하나씩 알아보고 Object Detection Network가 수행하는 최종 클래스를 어떻게 분류하고 Bounding Box 좌표를 어떻게 회귀하는지에 대해 알아보자.

 

2. Stage 1 - Selective Search로 Region Proposal 하기!

Stage1 - Region Proposal

RCNN에서는 Region Proposal 기능을 수행하는 것으로 Selective Search를 수행한다. Selective Search의 동작과정은 이전 포스팅에서 언급했으므로 따로 언급하지 않겠다. Selective Search를 통해 약 2000개의 객체가 있을만한 영역을 추천해준다. 그리고 이 2000개의 각 Region Proposal 마다 하나씩 Stage 2의 Feature Extractor로 입력되게 된다.

 

그런데 추천된 Region Proposal들이 Feature Extractor에 들어가려면 약 2000개의 Region Proposal들의 사이즈를 동일하게 맞춰주어야 한다. 왜냐하면 VGG, Resnet과 같은 Pretrained된 Feature Extractor에는 입력받는 사이즈가 고정되어 있기 때문이다. 그렇기 때문에 Region Proposal들을 자르거나(Crop) 찌그러뜨리는(Warp) 행위를 적용해주어 넣어준다. 사실 이러한 행동은 추후에 Stage2에서 객체를 올바르게 탐지하는 데 문제를 유발할 가능성이 있다.

3. Stage 2 - Softmax로 학습하고 SVM으로 최종 클래스를 분류하자!

Stage2 - 최종 클래스 분류하는 단계

 

Stage 1에서 얻은 Region Proposal을 기반으로 이제 입력된 이미지에서 객체가 어떤 물체를 나타내는지 클래스를 분류해보자. 위 그림의 빨간색 네모칸에 해당하는 단계이다. 일반적인 CNN 모델처럼 Feature Map을 Flatten 하고 Dense layer(FC layer)를 추가하는 것은 비슷하다. 하지만 특이한 점은 Softmax layer와 SVM Classifier가 동시에 존재한다는 점이다. 

 

RCNN은 객체 클래스를 최종 분류하기 전에 먼저 Softmax layer로 객체가 어떤 클래스로 분류되는지에 대한 확률 Score를 얻는다. 이 확률 Score를 얻으면서 파라미터가 학습이 된다. 이렇게 Softmax layer로 파라미터를 학습한 이후 RCNN은 Softmax로 가지 않고 SVM Classifier로 탐지된 객체의 클래스가 무엇인지 최종 분류하게 된다.

 

굳이 Softmax layer가 아닌 SVM Classifier를 사용하는 이유에 대해서 강의 속에서는 디테일하게 설명하진 않았지만 구글링을 해보고 난 후 결과적으로 SVM을 사용할 때 더 성능이 좋아서 사용했다고 한다. 구체적인 이유는 여기를 통해 확인해보자.

4. Stage3 - Bounding Box 좌표를 찾자!

Stage2 - Bounding Box의 좌표를 찾자

 

지금까지 과정을 통해 탐지된 객체의 클래스가 어떤 물체인지 분류까지 했다. 그렇다면 이 객체가 어디에 있는지 Detection 하기 위해 객체 주변에 사각형을 그려주는 Bounding Box의 좌표를 찾아야 한다. 좌표를 찾기 위해 Regression을 사용한다. 최적의 좌표를 찾는 과정도 Loss 함수를 사용해 역전파를 사용하는데 하단의 그림을 보고 천천히 이해해보자.

 

Bounding Box의 좌표를 찾기위한 수식을 살펴보자.

 

Regression 학습으로 찾아야 할 것들은 위 그림에서 '(찾아야 할 파라미터)' 라고 표시된 부분들이다. 위 그림에서 표현하고자 한 것은 예측된 파란색 박스의 좌표인 $(p_x, p_y)$를 실제 좌표값인 $(g_x, g_y)$으로 얼마나 이동시키야 하는지 알고 있는 함수 $d_x(p)$와 $d_y(p)$를 찾는 것이다. 또 파란색 박스의 너비인 $p_w$와 높이인 $p_h$를 얼마나 Scaling 해야 빨간색 박스의 너비, 높이인 $g_h$, $g_w$로 되는지 알고 있는 함수 $exp^{d_h(p)}$와 $exp^{d_w(p)}$를 찾는 것이다.

 

따라서 우리는 위 수식들을 기반으로 $g$ 에 대한 예측값인 $\hat{g}$를 다음과 같이 나타낼 수 있다.

 

• $\hat{g}_x = p_w*d_x(p) + p_x$
• $\hat{g}_y = p_h*d_y(p) + p_y$
• $\hat{g}_w = p_w*exp^{d_w(p)}$
• $\hat{g}_h = p_h*exp^{d_h(p)}$

이제 $t$라는 변수에 대해 정의할 텐데, 이 $t$는 $p$가 $g$로 옮기는 이동량을 의미한다. 결국 $t$는 위에서 우리가 찾아야 하는 모든 $d(p)$에 대한 Label이라고 할 수 있다. 따라서 $t$라는 이동량에 대해 정의를 하게 되면 다음과 같다.

 

• $t_x = (g_x - p_x)/p_w$
• $t_y = (g_y - p_y)/p_h$
• $t_w = \log(g_w/p_w)$
• $t_h = \log(g_h/p_h)$

이제 Label이라고 할 수 있는 $t$ 값들에 대해 정의를 했으니 이 $t$ 값들과 우리가 학습시키려는 함수들 $d(p)$ 간의 차이를 0으로 만들어주도록 하면 된다. 하단의 $t$ 와 $d(p)$ 에대한 Loss 함수 수식이다.

 

Loss 함수 수식

 

Loss 함수의 수식 끝에는 모델의 일반화를 위한 정규화 항인 L2 norm을 적용한 것을 볼 수 있다. 그리고 논문에서 $\lambda$ 의 적절한 값으로 1000을 추천하고 있다.

---

이렇게 단계별 설명을 거쳐 RCNN 모델에 대해서 알아보았다. 하지만 RCNN은 위에서 언급했다시피 하나의 Region Proposal 마다 Feature Extractor에 넣어주어 Object Detection을 한다. 그래서 만약 Region Proposal이 2000개를 추천해준다면 앞의 과정을 2000번 반복해야 한다. 그러므로 RCNN은 학습 시간에 있어서 매우 오랜 시간이 걸린다.

 

또한 중간에 Region Proposal들을 Feature Extractor에 넣도록하기 위해 사이즈를 고정시켜 줘야 하므로 이미지를 자르거나 찌그러뜨릴 수 밖에 없다. 이는 객체 탐지 성능에 부정적인 영향을 미칠 수 있다. 

 

따라서 위와 같은 2가지 문제점을 극복하는 SPP(Spatial Pyramid Pooling) Net에 대해 다음 포스팅에서 알아보려한다.