[ML] Retina Net Object Detection 모델

🔊 해당 포스팅에서 사용된 컨텐츠는 인프런의 딥러닝 컴퓨터 비전 완벽 가이드 강의 내용을 기반으로 했음을 알립니다. 설명에서 사용된 자료는 최대한 제가 직접 재구성한 자료임을 알립니다.

 

이번 포스팅에서는 One-Stage Object Detection의 또 다른 모델 중 하나인 Retina Net 모델에 대해 알아보려고 한다. 그동안에 살펴보았던 One-Stage 모델 중 하나인 YOLO 모델은 매우 빠른 Detection 속도를 자랑했지만 Detection 정확도는 Two-Stage 모델 중 가장 정확도가 높은 Faster RCNN 모델보다는 현저히 낮은 수준이었다. 특히 One-Stage 모델들은 작은 객체를 탐지하지 못하는 문제가 발생했다. 따라서 연구자들은 One-Stage 모델로서 YOLO 만큼의 Detection 속도를 최대한 유지하되 Detection 성능을 Faster RCNN을 따라잡고자 Retina Net을 개발했다.

(참고로 Retina Net은 2017년, YOLO 버전 3 모델은 2018년에 개발되었다)

 

Retina는 '망막'을 의미한다. 망막이 Retina Net과 관련이 있을까..?

---

1. Object Detection의 Class imbalance 문제

먼저 클래스 불균형이란, 클래스의 개수가 특정한 클래스에 치우쳐져 있는 문제를 의미한다. 클래스 불균형에 대한 자세한 내용은 여기를 살펴보자. 그러면 Object Detection에 있어서 클래스 불균형 문제란 무엇일까? 우선 하단의 그림을 살펴보자.

 

Object Detection에서 클래스 불균형이란?

 

위 이미지 데이터가 있을 때, 현재 Object Detection한 객체들은 바다, 구름과 같은 객체들보다 크기가 훨씬 작은 사람, 연(kite)과 같은 객체들이다. 물론 위 이미지의 Detection 결과는 매우 우수하게 탐지한 듯 하다. 그런데 위 이미지 데이터의 클래스는 불균형이 있다고 할 수 있다. 이미지를 픽셀 단위로 생각해본다면 현재 Detection 된 작은 객체들을 나타내는 픽셀 개수에 비해 구름, 나무, 모래, 바다와 같은 배경을 나타내는 픽셀 개수가 압도적으로 많을 수 밖에 없다. 무슨 말인지 잘 이해가 안된다면 하단의 자료를 살펴보자.

 

대부분의 이미지는 Background Example들이 많다!

 

우선 위 자료에서 언급하는 빨간색 네모칸들은 Background Example 즉, 이미지의 중요하지 않은 '배경' 부분을 탐지하기 위한 Anchor Box들이다. 결국 '배경'은 탐지하기 쉽기 때문에 Easy Example이라고 부르며 클래스로 보자면 'Object가 아닌 영역'이기 때문에 Negative(0) Example 이라고도 부른다. 

 

반면에 파란색 네모칸들은 Foreground Example 즉, Detection할 대상인 Object들을 나타내기 때문에 탐지하기 '어렵'다고 하여 Hard Example이라고 부르며 클래스로 보자면 'Object인 영역'이기 때문에 Positive(1) Example 이라고도 부른다.

 

자, 이제 클래스 불균형이 무엇인지는 알아보았다. 그러면 One-Stage Object Detection 모델에서는 대체 왜 클래스 불균형이 발생할까? 우선 One-Stage 모델의 공통적인 특성은 Anchor Box들을 이용하는 것이다. SSD나 Retina Net 같은 경우에는 Feature Map 당 각 포인트에다가 Anchor Box를 씌우고, YOLO 모델들은 입력 이미지 또는 특정 Feature Map을 $S by S$ 그리드로 나누고 각 그리드 Cell 마다 Anchor Box를 씌워서 Object Detection을 수행한다.

 

물론 위 이미지와는 달리 이미지에 배경이 거의 없고 객체가 큰 비중을 차지하는 이미지일 수도 있다. 바로 하단의 사진처럼 말이다.

 

고양이라는 객체가 이미지의 대부분을 차지하는 이미지

 

하지만 대부분의 이미지 데이터들은 위와 같지 않다. 주로 배경 픽셀들이 주를 이루고 객체들을 나타내는 픽셀이 상대적으로 개수가 적기 마련이다. 그렇기 때문에 Background Example이 Foreground Example 보다 개수가 훨씬 더 많아지며 결국 Negative(0)가 Positive(1) 보다 많은 클래스 불균형 문제가 발생하게 된다.

 

물론 Faster RCNN 모델과 같은 Two-Stage 모델들에서도 클래스 불균형 문제가 발생한다. 하지만 Two-Stage 모델들은 Selective Search나 RPN(Regions Proposal Network)와 같은 Region Proposal 단계를 개별로 수행하기 때문에 미리 객체가 있을만한 후보영역들을 1차적으로 필터링 해준다. 따라서 Two-Stage 모델도 클래스 불균형 문제가 발생하지만 One-Stage 모델보다 상대적으로 심한 불균형 상태가 아니다.

---

2. 그렇다면 해결책은? Focal Loss !

Focal Loss가 등장하기 전 클래스 불균형을 해소하기 위해 Data Augmentation 방법을 사용했다. 예를 들어, 작은 객체가 있는 이미지 데이터를 짜르거나 크기를 Scale 하는 등의 방법을 사용해 클래스 불균형을 해결하고자 했다. 하지만 이는 클래스 불균형을 해결하기 위해 '데이터' 입장에서 접근한 방식이다.

 

이번엔 '모델'의 입장에서 바라보았을 때 어떻게 해결할 수 있을까를 고민하다가 Focal Loss 라는 방법이 제시되었다. Focal Loss는 Cross-Entropy Loss 함수를 가중평균한 수식인데, 쉽게 말해서 "잘 분류한 데이터는 매우 잘 분류하니까 Loss를 매우 낮은 값으로 나오도록 하고 오분류하는 데이터에 Loss 가중치를 더 주어서 오분류하는 데이터에 집중시키자!" 이다. 마치 머신러닝 앙상블의 Boosting 모델과 비슷한 아이디어인 듯 하다.

 

먼저 Cross-Entropy와 비교를 위해 Focal Loss와 수식 비교를 살펴보자.

 

Cross-Entropy VS Focal Loss

 

논문에서는 Focal Loss 수식의 $\alpha$ 값은 $0.25$를, $\gamma$ 값은 $2$를 제안하고 있다. 이번엔 $x$축을 Object일 확률값, $y$축을 Loss 값으로 하는 Cross-Entropy 와 Focal Loss 그래프를 비교해보자.

 

Cross-Entropy 와 Focal Loss 그래프

(위 그림에서 CE = Cross-Entropy, FL = Focal Loss 를 의미)

위 그래프에서 초록색 글씨 즉, $x$축인 Object일 확률 값이 0.8 이상부터는 모델이 잘 맞추는 즉, Background Example 이라고 가정해보자. 그리고 빨간색 글씨인 부분은 모델이 잘 예측하지 못하는 Foreground Example 이다. 

 

이제 Background Example일 때, CE에서 FL로 Loss값의 변화를 보면 0.1 에서 0.01로 내려갔다. 반면에 Foreground Example 일때는 2.3 에서 2.1로 내려갔다. Loss 값 숫자 자체만 보면 Foreground Example의 Loss 차이값이 더 크지만 Loss값이 의미하는 바를 생각해본다면 오히려 Background Example이 훨씬 더 많이 감소한 것이 된다.

 

Background Example은 기존에 90%의 확률로 예측했다고 가정하면 Focal Loss를 사용함으로써 99%의 확률로 예측한 것이 되므로 결국 잘 예측하는 데이터를 훨씬 더 잘 예측하도록 Loss값을 매우 낮게 나오도록 계산하면서 해당 데이터에는 학습을 더 하지 않아도 잘 맞출 것이라고 모델이 인지하게 된다.

 

반면에 Foreground Example은 2.3에서 2.1로밖에 낮아지지 않았으므로 해당 데이터에 대한 Loss 값이 여전히 높음을 의미하므로 Foreground Example에 더 집중해 학습을 하는 것이 좋겠다라고 모델이 인지하게 된다.

 

이러한 원리로 인해 Focal Loss를 사용하면 Cross-Entropy를 사용할 때보다 모델이 학습할 때 오분류하는 데이터에 더 집중해서 학습하도록 할 수 있게 해준다.

 

참고로 하이퍼파라미터인 $\gamma$ 값이 커질수록 잘 예측한 대상에 대한 Loss값과 잘 예측하지 못한 대상에 대한 Loss값 차이를 더 크게 만들게 된다. 

 

$/gamma$값에 따른 Foreground, Background에 대한 Loss값 변화 정도를 나타낸 그래프

---

3. Retina Net = Focal Loss + FPN(Feature Pyramid Network)

Retina Net은 Focal Loss 와 FPN으로 구성되어 있다. Focal Loss를 사용하는 이유에 대해서는 지금까지 알아보았으므로 FPN에 대해서 자세히 알아보자. FPN이란, 서로 다른 크기의 객체들을 효과적으로 탐지하기 위해 Bottom-Up & Top-Down 방식으로 추출된 Feature Map들을 Lateral Connection 하는 방식이다. 여기서 Lateral Connection이란, Resnet에서 처음 사용한 Skip Connection과 매우 유사하다. 이제 FPN의 구조를 살펴보자.

 

FPN을 사용하는 Retina Net 동작 과정

 

주목할 부분은 Top-Down인 FPN을 진행할 때 Bottom-Up 할 때의 정보를 넘겨주기 위해 $1\ by\ 1$ Convolution으로 Skip Connection을 수행해준다는 점이다. 이것이 방금 언급했던 Lateral Connection이 된다. 또한 Top-Down 시 Feature Map 사이즈를 유지시켜주기 위해 Convolution Layer 마다 사이즈를 2배 업샘플링 해준다. 

 

그리고 Top-Down 할 때의 각 Feature Map 마다 Object Detection을 수행해 예측한다(마치 SSD 모델처럼). 이렇게 하면 여러가지의 예측된 Bounding Box가 생겨날 것이다. 마지막으로 Ground Truth와 IoU를 비교하면서 최적의 Bounding Box만을 남기기 위해 NMS(Non-Max Suppression)을 수행해주어 최종적인 Object Detection을 수행해준다.

 

참고로 Top-Down인 FPN을 수행해줄 때 각 Feature Map 마다 Predict를 해주는데 여기에 $3\ by\  3$ Convolution을 추가해준다. 이렇게 하는 이유는 Aliasing 현상을 막기 위함이라고 한다. Aliasing 현상이란, 서로 다른 Feature Map들이 섞이면 자신들만의 특성이 사라지는데, 이 때 $3\ by\ 3$ Convolution을 취하면 이 Aliasing 현상을 어느 정도 완화시킬 수 있다고 한다. 

---

지금까지 여러 포스팅에 걸쳐 여러가지 Two-Stage, One-Stage Object Detection 모델들에 대해 알아보았다. 다음 포스팅에서는 강의에서 마지막으로 소개하는 모델인 Mask RCNN에 대해 공부해보고 기록하려 한다. 참고로 Mask RCNN은 픽셀 단위(Pixel-levl)로 Object Detection을 수행하는 Segmentation 모델이다.