[ML] Mask RCNN Instance Segmentation 모델

🔊 해당 포스팅에서 사용된 컨텐츠는 인프런의 딥러닝 컴퓨터 비전 완벽 가이드 강의 내용을 기반으로 했음을 알립니다. 설명에서 사용된 자료는 최대한 제가 직접 재구성한 자료임을 알립니다.

 

이번 포스팅에서는 Pixel-level로 Object Detection을 수행하는 Instance Segmentation 모델인 Mask RCNN에 대해 알아보려고 한다. Mask RCNN은 Two-Stage Object Detection 모델인 Faster RCNN 과 Semantic Segmentation 기법인 FCN으로 구성되어 있다.

 

Mask RCNN 모델은 Segmentation 모델 종류 중 하나이다.

---

1. Segmentation이란?

Segmentation은 픽셀 단위, 이른바 Pixel-level로 Classification을 수행하는 것이다. 다음 그림을 보면 직관적으로 이해가 갈 것이다.

 

Segmentation은 각 Pixel을 Classification하는 문제이다.

 

위 그림을 보면 이미지의 Object 별로 클래스가 [1,2,3,4,5] 중 하나로 분류되었음을 볼 수 있다. 위와 같은 과정을 Segmentation이라고 한다.

2. Segmentation의 종류

Segmentation 종류에 대해 간단히 살펴보고 넘어가자. Segmentation에는 다음과 같이 2가지 종류가 있으며 차이점을 시각자료로 확인해보면 다음과 같다.

 

• Semantic Segmentation : 동일한 객체들끼리는 한 번에 Masking을 수행. FCN이 가장 대표적인 기법이다.
• Instance Segmentation : 동일한 객체들이여도 개별로 즉, 개별 Object 별로 Masking을 수행. 앞으로 알아볼 Mask RCNN이 여기에 속한다.

Semantic Segmentation VS Instance Segmentation

3. Semantic Segmentation Encoder-Decoder Model

이 인코더-디코더 모델은 이전에 배웠던 결과값을 입력값과 최대한 유사하게 만들어주는 Auto Encoder 모델과 구조가 비슷하다. 다음 그림을 살펴보자.

 

Semantice Segmentation Encoder-Decoder Model

 

이 모델은 원본 이미지를 Convolution으로 차원을 축소해 원본 이미지의 응집되고 추상화된 특징을 추출한다. 그리고 이를 Up Sampling을 사용해서 다시 복원하며 필요한 정보를 학습한다. 이렇게 학습된 정보를 기반으로 Segmentation Prediction을 수행하고 위 그림의 Output과 같은 결과를 출력한다.

4. FCN(Fully Convolutional Network)

FCN은 Semantic Segmentation Encoder-Decoder Model의 종류 중 하나이다. 추후에 소개하겠지만 이 FCN의 기법을 약간 변형해 활용한 것이 Mask RCNN 모델이다. 우선 FCN이 어떻게 동작하는지 구조를 살펴보자.

 

FCN(Fully Convolutional Network)

 

일반적인 Encoder-Decoder 모델처럼 원본 이미지를 압축하는 Encoder 과정을 거친다. 그런데 FCN은 복원하는 Decoder 과정에서 사이즈가 작은 Convolutional Layer에서 갑작스럽게 한 번에 원본 이미지 사이즈와 비슷한 크기의 형태로 Up Sampling을 수행해야한다. 그런데 만약 마지막 Convolutional Layer(빨간색 네모칸)에서 단순한 Up Sampling을 진행한다면 Segmentation 결과가 뚜렷하지 못하고 구분이 애매모호해지는 문제점이 발생한다.

 

따라서 FCN은 ResNet에서 처음 사용되었던 Skip Connection 개념을 차용한다. 이는 예전의 YOLO V3 모델의 FPN(Feature Pyramid Network)이나 SSD 모델의 Multi-Scale Feature Layer에 사용된 것들과 매우 비슷하다. FCN에서는 Feature Map에 Skip Connection을 사용하는 구조인데, 다음 그림을 살펴보자.

 

FCN에서의 Skip Connection 과정

 

Encoder 과정에서 Convolutional Layer를 거치면서 나오는 Feature Map을 Skip Connection할 대상으로 사용한다. 그래서 이를 Decoder의 원본 이미지 사이즈 크기로 Up Sampling을 진행할 때 Skip Connection을 활용하게 된다. 최종 Segmentation은 보통 마지막 Up Sampling을 진행해 나오게 되는 FCN-8s(초록색 박스)를 사용한다고 한다. 아래 자료에서도 알 수 있듯이 FCN-8s를 활용했을 때가 Ground Truth(정답)과 가장 가까운 결과를 냄을 알 수 있다.

 

Up Sampling한 각 Feature Map을 활용해 Segmentation 결과 비교

5. Mask RCNN = Faster RCNN + 변형 FCN

4번 목차까지 해서 FCN이 무엇이고 어떻게 동작하는 지에 대해 알아보았다. Mask RCNN은 RPN(Region Proposal Network)을 활용한 Faster RCNN Object Detection 모델과 약간의 변형된 FCN으로 구성되어 있다. 먼저 Mask RCNN의 큰 아키텍처를 살펴보자.

 

Mask RCNN 큰 아키텍처

 

특이한 점은 2가지이다. 우선 Faster RCNN의 ROI Pooling이 아닌 ROI Align 기법을 사용했다는 점과 FCN을 통해 분류를 수행할 때 Multi-Class Classification이 아닌 Binary Classification을 했다는 점이다. 하나씩 살펴보자.

---

5-1. ROI Pooling 의 문제점

ROI Align이라는 기술이 등장한 이유는 분명히 ROI Pooling 이라는 기술이 한계가 있을 것이기 때문이다. 따라서 ROI Align을 이해하기 전에 ROI Pooling이 무슨 문제점을 가지는지 알아보자. 

 

ROI Pooling은 기본적으로 $7 X 7$ 그리드만으로 분면을 나누어 Bag Of Visual Words 기법을 수행하는 것이다. 따라서 '그리드 분할' 이라는 특성을 감안해야 하기 때문에 Feature Map에서 ROI Feature Map으로 변환할 때 무조건 높이, 너비 사이즈가 정수값이어야 한다. 그렇기 때문에 만약 소수점으로 계산되더라도 소수점은 다 버리고 정수값만을 남겨 사이즈를 설정해야 한다.(이를 Quantization 문제라고 부른다) 잘 이해가 가지 않는다면 다음 그림을 보자.

 

ROI Pooling의 문제점

 

위 그림을 보면 결국 ROI Pooling 과정은 이미지의 중요한 부분인 ROI Feature를 일부 손실하게 된다는 것을 알 수 있다. 따라서 이를 극복하고자 ROI Align 기법이 등장한다.

5-2. ROI Align

ROI Align은 Bilinear Interpolation인 이중선형 보간법을 사용한다. ROI Align 과정을 3단계로 구분하면 다음과 같다.

 

1. ROI의 사이즈 소수점을 그대로 유지하고 ROI 개별 그리드에 Point를 균등하게 배열한다.
2. 개별 Point에서 가장 가까운 Feature Map 그리드를 고려하며 Point에 들어갈 값을 Weighted Sum 해준다.
3. 계산된 모든 Point들에 대해서 지정돤 사이즈의 Max Pooling을 수행해준다.

ROI Align의 동작 과정을 필자가 직접 설명하기에 한계가 있어서 대신 참고하기 매우 좋은 블로그를 공유하려고 한다. 영어로 작성되어 있지만 어려운 단어를 사용하지도 않았고 설명도 깔끔하고 간결하게 작성되었으니 꼭 한 번씩 읽어보도록 하자. 

5-3. FCN에서는 Masking 인지 아닌지만 생각하자

Mask RCNN의 FCN에서는 특정 픽셀값이 어떤 Object 클래스로 분류되는 지 결정되는 Multi-Class Classification을 사용하지 않고 특정 픽셀값이 어떤 클래스인지(ex.강아지인지 고양이인지, 사람인지) 상관없이 단순히 Object를 나타내는 Masking 인지 아닌지만 분류하는 Binary Masking Classification을 수행한다. 

 

그리고 Binary Masking Prediction을 거친 후 Predicted Masking 을 원본 이미지의 Object 사이즈 만큼 복원하고 이를 원본 이미지 위에 덮어씌우게(Overlap) 된다.

 

Predicted Mask를 원본 이미지에 적용시키기

---

6. Mask RCNN Loss Function

마지막으로 Mask RCNN의 Loss Function에 대해 간단히 알아보고 마무리하자. Mask RCNN의 Loss Function은 그동안 배워왔던 Object Detection 모델들의 Loss Function에 Masking에 대한 Loss Function을 추가한 것과 다름없다.

 

단, Mask RCNN을 구성하는 2가지 요소 즉, Faster RCNN에서는 Object의 클래스를 분류하는 Multi-Class Cross-entropy Loss와 Bounding Box를 찾는 $L1 \ Smooth$ Loss 함수를 사용하는 반면, Masking 여부를 예측하는 FCN에서는 Binary Cross-entropy Loss를 사용하게 된다.

---

지금까지 다수의 포스팅을 통해 Object Detection의 여러가지 모델과 Pixel-level Object Detection(Segmentation) 모델인 Mask RCNN까지 이론적으로 알아보았다. 강의를 학습하면서 배운 여러가지 모델을 코드로 구현한 것들은 여기를 참조하자.

 

(코드도 강의에서 제공하는 원본 코드를 그대로 카피하기 보다 직접 따라치면서 한줄 한줄 뜯어보기 위해 필자가 직접 주석도 넣고 한 부분이 많습니다. 혹여나 코드에 대한 궁금한 점이나 부족한 점이 있다면 날카로운 피드백은 언제나 환영입니다!)

 

- github.com/young-hun-jo/TIL/tree/master/computer_vision

young-hun-jo/TIL