[ML] SSD(Single Shot Detector) Object Detection 모델

🔊 해당 포스팅에서 사용된 컨텐츠는 인프런의 딥러닝 컴퓨터 비전 완벽 가이드 강의 내용을 기반으로 했음을 알립니다. 설명에서 사용된 자료는 최대한 제가 직접 재구성한 자료임을 알립니다.

 

지금까지 알아보았던 RCNN 계열, SPP Object Detection 모델들은 모두 Two-Stage 모델이었다. 이번 포스팅에서 소개할 모델은 One-Stage 모델 중 하나인 SSD(Single Shot Detector) 모델에 대해 소개하려 한다.

 

 

한번의 샷만 날리는 SSD?

---

1. One Stage? Two Stage?

SSD에 대해 본격적으로 알아보기 전에 Object Detection 모델 종류 중 One-Stage / Two-Stage로 분류하는 차이점에 대해 짚고 넘어가자.

 

One-Stage VS Two-Stage

 

그동안 우리가 배웠던 RCNN, SPP, Fast RCNN, Faster RCNN 모델은 Two-Stage 모델이었다. 여기서 Two란, 위의 오른쪽 그림처럼 Region Proposal과 Object Detection 단계를 분리해 전개되는 모델들이다.

 

반면에 오늘 배울 SDD와 같은 One-Stage 종류의 모델들은 Region Proposal 과 Object Detection을 따로 분리하지 않고 한 번에 수행하는 모델이다.

 

그렇다면 이러한 One-Stage 모델들이 등장한 배경은 무엇일까? Two-Stage 모델들의 학습 속도가 느리기 때문이다. Object Detection 분야에서 객체를 얼마나 탐지를 잘 하느냐도 중요하지만 탐지를 얼마나 '빨리' 하느냐도 마찬가지로 중요하다.

 

단적으로 예를 들어 본다면, 최근 자동차 산업에서 자율주행 산업이 정말 핫하다. 그런데 만약 자율주행할 때 객체를 탐지하는 모델의 탐지 속도가 느리다면 어떻게 될까? 만약 지나가는 보행자가 시야안에 들어와 탐지되야 하는데 이 속도가 느리다면 끔찍한 교통사고가 발생할 수 있다.따라서 Object Detection 분야에서 탐지 속도도 매우 중요한 요소가 되었다.

 

그런데 Two-Stage 모델들은 탐지 성능은 뛰어나지만 상대적으로 탐지 속도는 매우 느린 편이다. 따라서 연구자들은 이러한 느린 탐지 속도문제를 해결하고자 One-Stage 모델을 개발해왔다.

2. SSD(Single Shot Detector)

사실 SSD 모델이 나오기 이전에 One-Stage 모델로서 YOLO(You Only Look Once) 버전 1이 개발되었다. 물론 YOLO 버전1의 탐지 속도 즉, 초당 프레임수 인 FPS(Frame Per Second) 값이 매우 높았지만 탐지 성능인 mAP값이 현저히 낮은 문제가 발생했다. 이 때 YOLO 버전1을 개선시키고자 SSD 모델이 등장했다.

 

그렇다면 SSD 모델은 어떤 원리로 동작할까? SSD 모델은 Multi-Scale Feature Layer과 Default Box라는 2개의 요소로 구성되어 있다.(참고로 Default Box란, Anchor Box랑 동일하다고 보면 된다고 한다. 논문 상에서는 Default Box로 나와있으나 역할은 Anchor Box와 동일하다)

 

2-1. Multi-Scale Feature Layer

멀티 스케일 Feature Layer은 여러 번의 컨볼루션을 적용해 나온 여러 개의 Feature Map을 Object Detection을 수행시키고 그 결과를 통합해 최종 Detection하는 과정이다.

 

위 그림의 1번에 해당하는 부분이다. Feature Map 사이즈가 32, 16, 8, 4 일 때 각각에 대해 Object Detection을 수행하게 된다. 그렇다면 각 Feature Map이 Object Detection을 어떻게 수행할까?

 

SSD의 큰 아키텍처

2-2. Default Box(=Anchor Box)

컨볼루션을 통해 나온 각각의 Feature Map의 포인트(그림 속에서는 32 x 32안의 노란색 포인트들)마다 여러개의 Anchor Box를 씌우고 Ground Truth와 비교를 하면서 학습을 진행한다.

 

위와 같은 구조의 SSD 모델의 특징은 무엇일까? 바로 서로 크기가 다른 Feature Map이 입력 이미지 내의 크기가 서로 다른 객체들을 각각 전담마크(?)해서 탐지를 잘 하게 된다.

 

우선 Feature Map 1번에서 4번으로 갈수록 입력 이미지를 더 상징적으로 잘 나타내는 Feature Map이게 된다. 즉, 위 그림의 중심 Object들은 강아지들이다. 따라서 Feature Map 1번일 때 보다 Feature Map 2번~4번에서 강아지들을 상징하는 Feature Map이 존재할 것이다.

 

이제 'SSD의 큰 아키텍처' 자료의 하단을 살펴보면 파선으로 된 박스들을 살펴보자. 먼저 32 x 32 Feature Map에 해당하는 파선 박스들을 보면 강아지들 보다 작은 '사람의 손'을 탐지하고 있다. 다음의 16 x 16 Feature Map에서는 좀 더 큰 Object인 강아지를 탐지하고 있다. 따라서 컨볼루션 과정을 더 거친 Feature Map일수록 이미지의 중심이 되는 Object를 잘 탐지하고 컨볼루션 과정의 초반 Feature Map일수록 이미지의 사이드(?) Object를 잘 탐지하게 된다. 이러한 과정으로 인해 SSD는 이미지 속에 존재하는 여러가지 Object들을 잘 탐지할 수 있게 된다.

 

 

 

Default Box으로 Object Detection하는 과정

 

결과적으로 SSD 모델을 간단하게 정리하자면, 만약 입력 이미지 내에 여러가지의 객체들이 있을 때, 서로 사이즈가 다른 여러개의 Feature Map이 입력 이미지 내의 크기가 다른 객체들을 전담해서 탐지하도록 하는 모델이다.

3. SSD의 마지막은 NMS !

2번 목차까지의 과정을 거쳐 객체를 탐지하기 위한 많은 후보 Bounding Box들이 생겨났을 것이다. 이제 Ground Truth와 가장 IoU가 높은 Bounding Box들만 남기기 위해 NMS(Non-Max Suppression) 기법을 사용한다. NMS에 대해 모른다면 여기의 5-2 목차를 참고해보자.

4. SSD의 Cost Function

마지막으로 SSD의 Cost Function에 대해 알아보자. One-Stage 또한 분류와 회귀 문제를 같이 학습하기 때문에 Multi-task Loss 수식을 사용한다. 회귀를 위한 Loss 함수는 이전 Object Detection 모델과 동일하게 $L_1\ Smooth$ 함수를 사용한다. 

 

SSD의 Loss 수식