[ML] Object Detection 기초 개념과 성능 측정 방법

🔊 해당 포스팅에서 사용된 컨텐츠는 인프런의 딥러닝 컴퓨터 비전 완벽 가이드 강의 내용을 기반으로 했음을 알립니다. 설명에서 사용된 자료는 최대한 제가 직접 재구성한 자료임을 알립니다.

 

최근에 인프런에서 권철민 님의 '딥러닝 컴퓨터 비전 완벽 가이드'라는 강의를 듣기 시작했다. 해당 강의는 컴퓨터 비전(Computer Vision)의 Object Detecion 과 Segmentation 내용에 포커스를 맞추고 있다. 원래 관심 분야가 컴퓨터 비전은 아니다. 그러나 머신러닝 분야를 공부하게 되면 누구나 딥러닝을 마주하게 되고 딥러닝을 조금 들여다 보면 컴퓨터 비전에 정말 잘 사용되고 있다는 것을 알 수 있다. 현재 점점 상용화되고 있는 자율 주행도 이 컴퓨터 비전을 기반으로 만들어진 기능이다.

 

물론 현재 컴퓨터 비전 분야를 깊게 파서 이 쪽으로 바로 취업하고 싶은 생각은 아니지만 필자가 나중에 어디서 일하게 될지 모르고 또 일하게 되서 컴퓨터 비전과 관련된 업무를 맡을지도 모르기 때문에 지금은 흥미를 돋우고 기초 개념을 쌓고자 공부하려고 한다.

---

Object Detecion과 Segmentation을 배우기 전 CNN(Convolutional Neural Network)에 대해 알고 있어야 하는데, 만약 이를 모른다면 여기를 참고해 배우고 오도록 하자.

 

사람 얼굴이라는 Object를 어떻게 Detection(감지)할까?

 

이번 포스팅에서는 Object Detection 또는 Segmentation를 수행하는 딥러닝 모델에 대한 내용보다는 기본 개념에 대해 다루려고 한다. 이 개념들을 익혀야 추후에 소개될 딥러닝 모델들에 대해 이해가 수월할 것이다. 앞으로 소개할 목차는 다음과 같다. 

 

1. Localization? Detection? Segmentation?

2. 분류 문제? 회귀 문제?

3. Region Proposal

4. Object Detection 아키텍처

5. Detection 성능 평가 Metrics

1. Localization? Detection? Segmentation?

우선 Object 라는 객체를 탐지하는 방법으로는 크게 3가지가 존재한다. 바로 Localization, Detection, Segmentation이다. 이들의 차이점을 이해하기 위해 다음 사진을 살펴보자.

 

3가지 탐지 방법의 차이

 

위 그림의 가장 왼쪽부터 하나씩 살펴보자.

 

• Classification : 특정 이미지가 어떤 객체인지, 예를 들면 고양이인지 강아지인지, 사람인지, 자동차인지 등 객체의 클래스만을 분류한다. 이 때 주로 CNN 모델만을 사용한다.
• Classification + Localization : Localization이란, 단 1개의 객체 위치를 바운딩 박스(Bounding Box)로 지정해 찾는 것을 의미한다. 위 그림처럼 고양이 주변에 사각형으로 박스가 씌워져 있는 것을 볼 수 있다.
• Object Detection : 여러개의 객체들에 대한 위치를 여러개의 바운딩 박스로 지정해서 찾는다. 이 때 동시에 여러개의 객체들이 무엇을 의미하는지 클래스 분류도 수행한다.
• Segmentation : Pixel-level로 Object Detection을 하는 것을 의미한다. 그림에서 Object Detection일 때의 바운딩 박스와 비교해보면 시각적으로 차이점이 무엇인지 확연히 알 수 있다.

2. 분류 문제? 회귀 문제?

(앞으로 Localization, Object Detection, Segmentation 모두 그냥 객체 탐지라고 부르겠습니다!)

그렇다면 객체 탐지 방법은 머신러닝에서 어떤 문제일까? 어떤 문제라 함은 클래스를 '분류'하는 문제인지, 아니면 실수값을 예측하는 '회귀' 문제인지를 말한다. 객체 탐지는 '분류 + 회귀' 문제라고 할 수 있다. 1번 목차에서도 잠시 언급했지만 객체의 클래스를 '분류' 하고 동시에 바운딩 박스를 찾는 '회귀' 문제를 함께 수행한다.

 

객체 탐지는 분류와 회귀 문제를 동시에 수행한다.

3. Region Proposal

Region Proposal은 쉽게 말해서 객체가 있을 만한 영역들의 후보군들을 여러개 추출해주는 것을 의미한다. 대부분의 이미지들의 모든 픽셀들이 객체를 설명하고 있지 않다. 즉, 어떤 부분들의 배경 픽셀들이 있고, 어떤 부분은 객체를 나타내는 픽셀들이 있다. 그런데 객체를 탐지하기 위해서 배경의 픽셀들은 사실상 필요가 없다. 따라서 객체들을 나타내는 픽셀들만을 찾고 탐지하기 위해 Region Proposal이 객체가 '있을 법한' 픽셀의 영역들을 대거 추출해 추천해주는 방식이라고 볼 수 있다.

 

Region Proposal에는 크게 2가지 방법이 존재한다. 먼저 Sliding Window에 대해서 알아보자.

3-1. Sliding Window

슬라이딩 윈도우는 시계열 데이터를 교차 검증할 때 사용하는 방법이라고 알고 계신 분들도 있을 것이다. 하지만 Region Proposal에도 슬라이딩 윈도우 기법이 있는데 적용 분야에만 다를 뿐이지 근본적으로 수행하는 방법은 비슷하다. 우선 그림을 보자.

 

Sliding Window 수행 방법

 

위와 같이 특정한 모양의 윈도우를 이미지 왼쪽 상단에서 오른쪽 하단으로 점진적으로 이동하면서 객체가 있을 만한 Region들을 Proposal(제안)해주는 것이다. 물론 특정한 모양으로 윈도우만을 이용할 수 있지만 응용하여 각기 다른 모양의 윈도우를 각각 슬라이딩하거나 아니면 윈도우 크기를 고정하되 탐지할 이미지 크기를 다양하게 스케일링해서 Region Proposal을 수행하기도 한다.

 

하지만 슬라이딩 윈도우는 치명적인 단점이 있다. 바로 객체가 없는 지역도 슬라이딩을 무조건 하기 때문에 슬라이딩 윈도우를 하는 데 시간이 많이 걸릴 뿐더러 객체를 잘 탐지할 확률도 낮아지게 된다. 위 사진에서 검은 색 배경들도 슬라이딩 하는 것처럼 말이다.

3-2. Selective Search

슬라이딩 윈도우 기법의 한계점을 극복하기 위해 제안된 방법이 Selective Search 방법이다. Selective Search란, 일종의 알고리즘으로 이미지 픽셀의 컬러, 무늬, 크기, 형태에 따라 유사한 Region을 계층적 그룹핑 방법으로 계산하는 방식이다. 즉, 객체가 들어있을 만한 여러개의 바운딩 박스를 만들고 반복적으로 Selective Search 알고리즘을 이용해 최적의 바운딩 박스를 선정해 Region Proposal을 해주는 것이다. 다음 그림을 보자.

 

Selective Search 수행 과정

 

위 그림의 가장 왼쪽인 인풋 이미지를 Selective Search 수행하면 오른쪽 그림처럼 구분이 객체가 있는 구역을 기준으로 잘 분할되는 것을 볼 수 있다. 방금도 언급했다시피 Selective Search는 초기에 픽셀 개별로 Segmentation된 부분을 유사도에 따라 Segmentation 그룹핑을 계속 반복하는 것이다. 따라서 Selective Search는 위 그림에서 'After more iterations'에 해당하는 부분을 Region Proposal 해주게 된다.

4. Object Detection 아키텍처

이제 중간 점검(?)으로 지금까지 배운 개념을 사용해 Object Detection이 어떤 아키텍처와 프로세스로 전개되는지 그림으로 살펴보자.

 

Object Detection 아키텍처

 

추후 게시할 포스팅에서 소개하겠지만 3번 목차에서 배운 Region Proposal은 Object Detection Network(e.g RCNN, Fast RCNN, SSP 등)에서 Feature Map과 적절히 매핑을 이루게 된다.(이를 ROI = Regions Of Interest, 관심만 있는 영역 이라고도 한다.)

5. Detection 성능 평가 Metrics

4번 목차까지 해서 객체 탐지 모델이 어떤 식으로 구성되는지 대략 알게되었다. 그렇다면 이렇게 만든 객체 탐지 모델이 얼마나 잘 객체를 탐지하는지 탐지 성능을 판단하는 척도는 무엇으로 할까?

5-1. IoU(Intersection Over Union)

고등학교 시절, 집합 단원에서 교집합, 합집합에 대해 배웠을 것이다. IoU는 그 개념들을 도입한 것이다. 즉, 실제 객체가 있는 바운딩 박스(Ground Truth)와 모델이 예측한 바운딩 박스(Predicted)가 포함하고 있는 영역을 계산할 수 있다. 다음 그림을 보자.

 

IoU 계산 방식

 

주의해야 할 점은 Area of Union 값을 구할 때 Ground Truth 바운딩 박스와 Predicted 바운딩 박스 넓이 두개를 더해주고 Area of Overlap 부분을 1번 빼주어야 한다.(여담이지만 이러한 실수를 고등학교 시절 몇 번 했던 경험이 어렴풋이 난다..😨)

 

IoU값은 비율이기 때문에 0과 1사이의 값으로 나오게 된다. 값이 1로 갈수록 객체 탐지 모델이 매우 잘 예측한 것을 의미한다.

 

IoU값에 따른 실제 박스와 예측 박스의 겹침 시각화

5-2. NMS(Non-Max Suppression)

NMS는 탐지 모델의 성능을 측정하는 메트릭이라기 보다는 탐지 모델이 오브젝트를 정확하게 예측하도록 도와주는 기술이라고 볼 수 있을 것 같다.(혹시 메트릭이라는 이견이 있으시다면 적극 피드백 부탁드립니다!)

 

NMS란, 여러개의 바운딩 박스들 중 객체의 Confidence Score가 가장 높은 박스를 선정하고 이 Score보다 낮은 박스들은 삭제한다. 그리고 Score가 가장 높은 박스와 다른 박스들 간의 IoU를 계산하고 미리 지정한 IoU 임곗값 보다 큰 다른 박스들을 모두 제거(굳이 말하면 제거보다는 Suppress, 억누르게 된다)하게 된다. 아마 텍스트만으로는 감이 잘 안올 것이다. 다음 그림을 살펴보자.

 

Non-Max-Suppression 수행과정

(# 참고로 박스들 간 IoU값 계산은 임의로 수행한 것입니다!)

위 그림과 설명을 천천히 읽어보자. 먼저 Confidence Score란, 특정 바운딩 박스안에 있는 객체가 어떤 물체의 클래스일 확률(4번 목차에서 아키텍처 그림의 Softmax 단계로 도출된 확률값)과 IoU값을 곱한 값인데, 위 그림의 예시로 들자면 각 바운딩 박스안에 자동차가 있을 확률이라고 이해하면 되겠다.

 

NMS 과정을 수행하고 나면 크게 2가지 이점이 있다. 이는 사전에 결정하는 Confidence Score Threshold와 IoU Threshold 값 2가지와 연관이 있다.

 

• Confidence Score Threshold로부터 얻는 이점: 그림에서 보는 것처럼 빨간색 박스안에 있는 자동차 객체를 탐지하기 위해 3개의 바운딩 박스가 도출된 것을 볼 수 있다. 이 때 NMS를 수행하게 되면 자동차 객체를 가장 잘 탐지한 바운딩 박스를 제외한 나머지 파란색 박스들을 모두 삭제해 바운딩 박스가 여러개 나오는 것을 막을 수 있다.
• IoU Threshold로부터 얻는 이점: 초록색 네모박스를 삭제하지 않고 유지시켜 다른 곳에 있는 객체들을 탐지하도록 한다.(다수의 객체를 탐지하도록 도와준다는 의미)

5-3. mAP(mean-Average Precision)

이 개념을 알기 전에 Precision, Recall에 대한 개념을 알고 가야 한다. 잘 모른다면 이 포스팅의 '4.Model의 평가' 목차부분을 살펴보자. 컴퓨터 비전에서 Confusion Matrix의 TP(True Positive), FN(False Negative), FP(False, Positive)가 의미하는 바는 다음과 같다.

 

컴퓨터 비전에서의 TP, FP, FN의 의미

 

그런데 Precision, Recall은 Trade-off 관계가 존재한다. 즉, 두 개의 값을 모두 최상위 값으로 끌어올릴 수 없다는 것이다. 그래서 둘 중 하나의 값을 끌어올리기에만 몰두하다 보면 수치적인 값으로는 멀쩡해 보이지만 알고보면 심각한 오류를 발견할 수 있다.

 

• Precision을 100%로 올리려 한다면 정말 높은 확률로 예측된 것만 모델이 Positive라고 예측(모델이 보기에 확실한 것만 예측)하고 나머지는 모두 Negative라고 예측하면 된다. 이러면 FP(False Positive, 모델이 Positive라고 예측했을 때, 실제 Negative인 경우)값이 0이 된다.
• Recall을 100%로 올리려 한다면 모든 경우를 모델이 Positive라고 예측하면 된다. 이러면 FN(False Negative, 모델이 Negative라고 예측했을 때, 실제 Positive인 경우)값이 0이 된다.

이렇게 Precision, Recall 수치를 잘못 사용하게 되면 오류가 발생할 수 있기 때문에 Confidence Score 임곗값을 조절하면서 얻은 Precision-Recall Curve 그래프를 그려 그래프 아래 면적을 나타내는 AP(Average Precision)값을 이용하는 것이 좋다. 

 

출처 : 다크프로그래머님 블로그

 

AP는 Confidence Score 값에 따라 얻은 그래프이기 때문에 Confidence Score를 높게 설정한다면 객체 탐지 모델이 정말 확신하는 케이스만 Positive라고 예측하기 때문에 Precision은 매우 높아지는 반면 Recall 수치는 낮아지게 된다.

 

반대로 Confidence Score를 낮게 설정한다면 객체 탐지 모델이 모든 케이스에 대해 Positive라고 예측 난사(?)를 해버리기 때문에 Recall 수치는 매우 높아지지만 Precision 수치는 낮아지게 된다.

 

어쨌거나 위와 같이 Precision-Recall Curve 그래프의 아래 면적 넓이를 구해 AP값을 구하게 된다. 이렇게 구한 하나의 AP값은 하나의 객체(Object)에 대한 탐지 성능이다. 그렇다면 AP에 평균값을 취한 mAP는 무엇을 의미하는 걸까?

 

세상에는 하나의 객체만 담긴 이미지가 있을 수 있지만 여러개의 객체들이 담긴 이미지도 있다. mAP는 후자의 경우에 사용하는 개념이다. 즉, mAP는 여러개의 객체들이 담긴 이미지를 객체 탐지했을 때 하나의 객체에 대한 AP값을 구하고 이미지에 존재하는 객체들의 개수만큼 평균값을 취해주는 것이다.

 

---

이렇게 객체 탐지에 대한 여러가지 개념과 메트릭 몇 가지에 대해 알아보았다. 다음 포스팅부턴 이 개념들을 기초로 하여 RCNN, Faster RCNN, YOLO 등과 같은 Object Detection Network에 대해 차근차근 배우고 소개해보려 한다.