[ML] Fast RCNN Object Detection 모델

🔊 해당 포스팅에서 사용된 컨텐츠는 인프런의 딥러닝 컴퓨터 비전 완벽 가이드 강의 내용을 기반으로 했음을 알립니다. 설명에서 사용된 자료는 최대한 제가 직접 재구성한 자료임을 알립니다.

 

이번 포스팅에서는 저번에 소개했던 SPP Net을 약간 변형한 모델인 Fast RCNN에 대해 소개하려고 한다. 아마 SPP Net 모델의 구조를 잘 이해하고 있다면 이번 Fast RCNN 모델에 대해 이해하는 데 매우 수월할 것이다.

 

Fast RCNN... 얼마나 빠르길래..Fast라는 수식어를 붙였을까?

1. SPP Net이 뭐였더라?

SPP Net에 대해 핵심적인 포인트만 다시 상기해보자. Selective Search로 입력 이미지에 대해 많은 Region Proposal들을 추출해주는데 이 때 Region Proposal 들의 크기가 서로 다를 수 밖에 없다. 그런데 이 각기 다른 크기를 고정된 사이즈이 벡터로 결합해주기 위해 SPP(Spatial Pyramid Pooling) 과정을 거친다고 했다. 그런데 SPP는 Bag of Visual Words라는 기술과 분면 테크닉을 합쳐서 수행하는 일종의 Max Pooling 과정이다. 잘 기억이 나지 않는다면 하단의 그림 또는 저번 포스팅을 참고하자.

 

SPP 과정

 

그리고 위 SPP 과정을 적용시킨 SPP Net의 전체 Object Detection 모델의 큰 아키텍처 그림은 다음과 같다.

 

SPP Net의 큰 아키텍처

2. Fast RCNN은 뭐가 다른가?

Fast RCNN은 위 그림의 SPP Net 아키텍처와 크게 2가지가 달라진다. 첫 번째는 모두 동일한 사이즈의 Region Proposal을 만들기 위해 SPP 과정을 사용하지 않고 ROI(Regions Of Interest) Pooling 과정을 사용한다. 두 번째는 Object가 무엇인지 클래스를 분류할 때 SVM Classifier을 사용하지 않고 Softmax Layer만을 사용한다. 하단의 Fast RCNN 아키텍처 그림을 보면서 차이점을 하나씩 이해해보자.

 

Fast RCNN 아키텍처

2-1. ROI Pooling

사실 SPP 과정도 ROI Pooling 과정이라고 할 수 있다. ROI Pooling 의 구체적인 정의는 서로 크기가 다른 Region Proposal을 고정된 벡터 사이즈로 만드는 것을 의미한다. 여기서는 SPP Net과의 차이점을 강조하기 위해 Fast RCNN에서만 ROI Pooling이라고 정의하겠다.

 

ROI Pooling은 SPP Pooling 과정과 동작과정은 동일하다. 단, 분면을 여러 번 수행하지 않고 단 $7\times7$ 분면으로 나눈 것 하나로만 SPP를 수행한다는 것이 차이점이다. 

2-2. 클래스 분류에는 이제 Softmax Layer만 사용하자!

이전의 SPP Net 모델까지는 먼저 Softmax Layer로 Object가 어떤 클래스인지 확률값으로 도출시키면서 파라미터를 학습하고 다시 최종 클래스 분류를 위해 SVM Classifier를 사용했다. 하지만 이렇게 하게 되면 보다시피 2번 수행하는 번거로움이 있게 되고 결국 End-to-End 모델이 되지 못한다.

 

그래서 SVM Classifier 를 없애버리고 Softmax Layer 하나만을 두고 Object의 최종 클래스를 분류시킨다. 이렇게 함으로써 Object의 클래스를 최종 분류하는 문제와 Object를 탐지해 감싸는 Bounding Box의 좌표를 회귀하는 문제 2개를 동시에 학습시키게 된다. 즉, 이제 End-to-End 모델이 되는 것이다.

3. Fast RCNN의 Cost Function

분류와 회귀 문제 2개를 동시에 해결하는 Fast RCNN의 Cost Function은 어떻게 될까? 2개를 동시에 해결한다고 하여 Multi-task Loss 라고 불리기도 한다. 분류 문제에는 $Cross-Entropy$를 사용하고 회귀 문제에는 $Smooth\ L1$ 함수를 사용한다. 먼저 전체 Loss 함수 수식을 살펴보자.

 

Multi-task Loss함수

 

Cross-entropy는 많은 머신러닝 포스팅에서 분류 문제의 Cost function으로 사용되기도 했고 설명은 넘어가겠다. 위 수식에서 특이한 부분은 $Smooth\ L1$ 함수인데, 이 함수 수식은 다음과 같다. 하단의 $x$는 오차(Error)를 의미한다.

 

Smooth L1 Loss 함수

 

$x$값에 따라 함수 식이 달라지며 $x$값이 $-1$ 보다 크거나 $1$ 보다 작을 때는 $L2\ Loss$ 유형의 식을, 그 이외의 경우에는 $L1\ Loss$ 유형의 식을 사용한다. 

 

어떤 식을 따르냐에 따라 오차 함수의 의미가 약간씩 달라지는데 이에 대해 알아보자.

 

• $L2\ Loss$ : 제곱을 사용하기 때문에 지나치게 오차가 큰 데이터에 매우 민감하게 작용한다. 따라서 오차가 큰 데이터가 많이 존재할 경우 $L2$를 사용하면 오차가 큰 데이터에 큰 패널티를 부여함으로써 학습 시 오차가 큰 데이터를 잘 학습하도록 해준다.
• $L1\ Loss$ : 절댓값을 사용하기 때문에 지나치게 오차가 큰 데이터에 민감하지 않다. 따라서 오차가 큰 데이터가 별로 존재하지 않을 때 사용하기에 적합하다.
• $Smooth\ L1\ Loss$ : $x$ 즉, 오차값이 $-1$보다 크거나 $1$보다 작을 때는 거의 맞췄다고 인정한다.

마지막으로 각 그래프 함수 모양을 살펴보고 마무리하자. $x$축은 오차값을 의미한다.

 

L1 vs L2 vs Smooth L1