[ML] '더 빠른' Faster RCNN Object Detection 모델

🔊 해당 포스팅에서 사용된 컨텐츠는 인프런의 딥러닝 컴퓨터 비전 완벽 가이드 강의 내용을 기반으로 했음을 알립니다. 설명에서 사용된 자료는 최대한 제가 직접 재구성한 자료임을 알립니다.

 

이번 포스팅에서는 저번에 소개했던 Fast RCNN의 느린 Detection 속도를 극복할 수 있는 Faster RCNN 모델에 대해 소개하려 한다. (만약 Object Detection에 대해 잘 모르신다면 Object Detection 시리즈를 읽고 오실 것을 권고합니다!)

 

 

Faster RCNN은 Fast RCNN보다 얼마나 빠르길래!?

 

이제까지 살펴본 RCNN, SPP Net, Fast RCNN 모델들의 공통점은 객체가 '있을 법한' 영역을 추천해주는 Region Proposal 단계를 Selective Search 방법을 사용해 구현했다는 점이다. 하지만 Selective Search는 네트워크 구조가 아니기 때문에 오랜 시간이 걸린다는 단점이 존재한다. 그래서 뛰어난 연구자 분들은 Region Proposal 단계도 딥러닝과 같은 네트워크 구조로 만들어 탐지 속도를 높이자는 목표를 설정했다. 그 결과 RPN(Regions Proposal Network)가 탄생했다.

1. RPN(Regions Proposal Network)란?

RPN이란, VGG, Resnet과 같은 Feature Extractor에 입력 이미지를 넣어 나온 Feature Map에다가 컨볼루션을 적용해 해당 Region들에 객체가 있는지 없는지 분류하고 동시에 그 객체가 있을 만한 Region의 바운딩 박스 좌표를 회귀하는 것을 함께 수행하는 네트워크를 의미한다. 그래서 네트워크라는 특성으로 인해 GPU 이용이 가능하고 결과적으로 기존의 Selective Search 보다 속도가 빠른 장점이 있다. 텍스트로 말하면 당연히(?) 잘 이해가 안 갈 것이다. 그림으로 살펴보자.

 

Faster RCNN 아키텍처

 

RPN은 위 그림에서 보는 것처럼 Feature Map에 컨볼루션을 2번 사용해 Fully Convolutional Layer를 만든다. 중간에 $1 \times 1$ 컨볼루션을 사용하는 이유는 $Channel$ 개수를 2개, 4개로 맞추어 주기 위해 사용한다.(참고로 $1 \times 1$ 컨볼루션은 컨볼루션 이전의 높이, 너비는 동일하되 $Channel$을 마음대로 조절하기 위해 사용된다.)

 

$1 \times 1$ 컨볼루션을 통해 나온 결과값을 Ground Truth와의 IoU값을 비교하면서 IoU값이 0.5보다 크면 Positive Anchor Box, 작으면 Negative Anchor Box로 분류한다. 결국 해당 Region에 객체가 있을 법한지 아닌지(이진 분류)를 수행한다. 그리고 그 바운딩 박스의 좌표($x_1, y_1, x_2, y_2$)를 회귀도 동시에 수행하게 된다.

 

참고로 위와 같이 RPN에서 2번의 컨볼루션을 거치는 이유는 $1 \times 1$ 컨볼루션을 거쳐야 Anchor Box별로 학습된 클래스와 바운딩 박스 좌표를 쉽게 추출할 수 있기 때문이라고 한다.

2. RPN의 Loss

RPN도 딥러닝과 같이 일종의 네트워크라고 했다. 그렇다면 네트워크 내부에서 학습을 시키기 위해서는 Cost Function이 필요하다. RPN 또한 분류와 회귀 문제를 동시에 수행하기 때문에 Multi-task Loss를 사용한다. 다음 수식을 살펴보자.

 

RPN Loss

 

다른 모델들과 Multi-task Loss라는 점에서는 유사하지만 주목할 만한 점은 바로 RPN을 통해서 나오는 Positive/Negative Anchor Box들이다. Negative Anchor Box로 분류되는 Regions들은 0으로 계산되어 $L_1\ smooth$ 함수를 계산할 필요가 없게 된다. 

 

또 하나 주목할 점은 Mini-batch라는 개념이 사용된 것이다. Mini-batch라는 용어의 정의에 대해 잠시 설명하자면, 보통 방대한 양의 데이터를 학습시킬 때 전체 데이터셋을 일부(batch)로 분할해 차례차례 넣어서 학습시키는 것을 의미한다. 

 

RPN도 어쨌거나 네트워크이며 '학습'이라는 것을 시켜야 한다. 그런데 방대한 양의 이미지 데이터를 한 번에 학습시킨다면 방대한 양의 Positive 또는 Negative Region들이 학습된다. 그렇게 되면 네트워크 학습 시 효율성이 떨어지게 된다. 따라서 특정 사이즈로 데이터셋을 분할해 학습시키는 Mini-batch 학습을 시켜준다.

(참고로 Mini-batch로 학습시킬 때 초반에는 Positive/Negative Anchor Box들이 비슷한 비율로 분포시켜 학습 시킨다. 그리고 이후 학습 후반부의 batch에는 Negative Anchor Box들이 더 많을 수 밖에 없어진다. 왜냐하면 보통 이미지가 객체로만 가득한 경우가 흔하지 않기 때문이다)

3. RPN의 또 한 번의 Region Proposal ? 

지금까지 RPN에서 어떤 방식으로, 어떤 Loss 함수를 사용해 Region Proposal이 되는지 알아보았다. 그런데 2번 목차까지의 과정을 통해서 Region Proposal이 완료된다면 이미지가 어떤지에 따라 달라지겠지만 수많은 Positive Anchor Box로 분류된 Region들이 추천이 된다. 다시 말해 어떻게 보면 좀 쓸데없는(?) Region들도 추천이 된다는 의미이다. 따라서 이 추천된 수많은 Region들에 대해 다시 한 번 필터링 과정을 거친다. 그래서 목차의 제목을 "또 한 번의 Region Proposal" 이라고 지었다.

 

이 또 한 번의 필터링 시 사용하는 개념이 Objectness Score이다. 즉, 1차적으로 RPN의 결과로 나온 Positive Anchor Box들만을 대상으로 각 Box 당 Objectness Score를 계산해주고 이 Score 기준으로 내림차순으로 정렬 후 상위 $N$개의 Positive Anchor Box들만 최종 Region Proposal 하게 된다.

 

참고로 Objectness Score은 Positive Anchor가 Object일 Softmax 확률값(A라고 하자)과 이 Positive Anchor Box와 Ground Truth Bounding Box와의 IoU값(B라고 하자)의 곱이 된다.

 

$$Objectness\ Score = A * B$$

4. Faster RCNN의 동작 과정

자, 이제 RPN에 대해 알아보았으니 처음에 사진으로 살펴보았던 Faster RCNN의 아키텍처를 다시 상기키셔 보자.

 

Faster RCNN을 다시 상시키겨보자

 

Region Proposal을 RPN으로 완료했으니 RPN과는 개별로 입력 이미지를 Feature Extractor에 넣은 후 나온 Feature Map을 RPN을 거쳐나온 결과와 매핑을 시키고 Fast RCNN의 ROI Pooling 과정을 거쳐 고정된 사이즈의 벡터로 결합시킨다.

 

마지막으로, 위 그림에서는 $\cdots$ 로 생략되어 있지만 FC Layer을 통해서 최종 Object Classifcation을 하기 위해 Softmax Layer, 최종 바운딩 박스의 좌표를 Regression 하게 된다.

5. Faster RCNN의 Alternating Training

방금 위에서 살펴보았다시피 Faster RCNN은 결과적으로 Feature Map으로부터 2개의 네트워크 학습을 수행한다. 그런데 RPN 네트워크를 통해 학습된 파라미터로 다른 네트워크(Object Detection하는 네트워크)를 학습하게 된다. 이는 결국 RPN의 파라미터로 최종 Object Detection을 하게 되는 셈이다. 

 

그래서 이를 해결하고자 Alternating Training이 등장했다. Alternating Training이란, RPN 네트워크를 먼저 학습하고 Object Detection Network(Fast RCNN)를 학습한다. 그리고 RPN을 Fine Tuning하고 Object Detection Network를 Fine Tuning 하는 과정을 의미한다.

 

그런데 필자는 이 Alternating Training 동작 과정에 대해 직관적으로 이해가 잘 되지 않아 강의 제작자 선생님께 많은 질문을 요청했다. 그 결과 선생님께서 친절하시게도 RPN이 동작하는 pseudo-code를 제공해주셨다. 그래서 마지막으로 이 코드를 공유함으로써 혹여나 RPN이 동작하는 과정이 직관적으로 이해가 안되는 분들에게 큰 도움이 되길 바란다.

 

# Python 코드
import sys

rpn = rpn_network()  # RPN 네트워크 모델 생성
fast_rcnn = fast_rcnn_network()  # Object Detection Network(Fast RCNN) 생성

# 학습시킬 이미지 데이터셋으로 Mini-batch로 학습
# gt = Ground Truth
for batch in batch_steps:
    # RPN 
    x_gt_box, x_gt_label = get_dataset_batch()  # Batch 수 데이터만큼의 Ground Truth 좌표와 레이블 획득
    rpn.train_on_batch(x_gt_box, x_gt_label)   # Ground Truth을 기반으로 RPN 학습
    predicted_objects = rpn.predict_on_batch()  # Batch에 대해 RPN에서 Object여부 분류, 좌표값 회귀 예측
    x_samples, x_labels = get_positive_negative_anchors(predicted_objects)  # 예측된 값 기반으로 Anchor Box들을 Positive/Negative로 분류하고 해당 클래스 레이블 할당
    
    # Fast RCNN
    fast_rcnn.train_on_batch(x_samples, x_labels)  # RPN이 Region Proposal한 영역들에 대해 최종 클래스 분류, Bounding Box 좌표 회귀 수행