[ML] Convolutional Neural Network(CNN)

🔉해당 자료 내용은 순천향대학교 빅데이터공학과 김정현 교수님의 수업자료에 기반하였으며 수업자료의 저작권 문제로 인해 수업자료를 직접 이용하지 않고 수업자료의 내용을 참고하여 본인이 직접 작성하였으므로 저작권 문제가 발생하지 않음을 필히 알려드립니다. 

 

컴퓨터 비젼 즉, 이미지 데이터를 분류하는 데 가장 큰 일조를 한 모델이 있다고 한다면 바로 CNN(Convolutional Neural Network) 모델이다.(애석하게도 여기서의 CNN은 미국의 생방송 뉴스 전문 텔레비전 📺방송사 CNN과는 다르다.) 최근에 CNN은 이미지 분류를 넘어서 RNN의 Seq2Seq 모델과 결합하여 Image Captioning 즉, 기계가 이미지를 보고 텍스트로 설명할 수 있는 능력까지 보여주고 있다. 이에 대해서는 흥미로운 박지호님의 포스팅 글이 있는데, 궁금하다면 여기를 참고하자. 수식 없이 최대한 쉽게 설명해주셔서 집중이 안된다면 저 포스팅을 통해 머리를 리프레쉬 시켜보자!😀

 

CNN모델은 이 CNN이 아니야!

 

앞으로 소개할 내용들의 목차는 다음과 같다. 

 

1. CNN은 왜 등장하였는가?

2. CNN의 'C'는 진짜 'Convolution'인가?

3. CNN의 특성

4. CNN이 동작하는 과정

1. CNN은 왜 등장하였는가?

본격적으로 들어가기에 앞서 간단하게 CNN이 등장한 이유를 생각해보자. 우리는 그동안 딥러닝이라고 불리는 DNN(Deep Neural Network)에 대해 배워왔고 텐서플로우로 구현해보는 과정까지 진행해보았다. 그러면 이미지 데이터에도 이 DNN을 사용하면 안될까?

 

결론부터 말하면, 안된다기 보다는 DNN을 이용하게 되면 비효율적이다. 왜냐하면 일반 수치형, 범주형 변수로 이루어져 있는 Tabular 데이터는 모든 파라미터를 다 고려하여 모델링을 하는 것이 좋을 수도 있겠지만, 이미지의 같은 경우, 전체 이미지를 마치 작은 수많은 정사각형의 모임으로 가정했을 때,(이를 픽셀로 이루어져있다고 한다) 중요하지 않은 의미를 갖고 있는 네모칸(픽셀)들이 존재하기 때문이다. 

 

지구 이미지 데이터가 있다고 가정해보자.

 

위 지구 사진을 머신러닝 모델이 학습해야 한다고 가정해보자. 사진 속 전체 이미지를 수많은 정사각형들(픽셀들)로 나누어 본다고 할 때, 지구를 부분적으로 담고 있는 많은 픽셀들이 존재할 것이지만, 반면에 대부분의 정사각형들은 사진 속 검은 배경을 담고 있는 픽셀들일 것이다. 따라서 이를 예시로 들었을 때, 만약 DNN을 사용하게 된다면 검은 배경을 담고 있는 픽셀의 파라미터들도 모두 학습을 하게 된다. 하지만 우리의 현재 목적이 무엇인가? 사진 속 이미지가 '지구'라는 것을 인식하는 것이 목적이 아닌가? 그렇다면 검은 배경을 담고 있는 픽셀들을 학습할 필요가 없다는 것이다.

 

따라서 이러한 이유로 인해 DNN을 사용하게 되면 학습 시 비효율적인 문제가 발생하여 Convolution을 활용한 CNN 모델을 사용하는 것이다. 그렇다면 Convolution이란 무엇인가?

2. CNN의 'C'는 진짜 'Convolution'인가?

제목을 보고 의아해 할지도 모른다. 방금까지 Convolution을 사용한다고 했는데 이게 진짜 Convolution이라는 말이 대체 무슨 이야기인가?

결론부터 말하면 현재 딥러닝 구현 프레임워크들은 CNN 구현 시 Convolution이 아닌 Cross-Correlation을 사용한다. 그럼 이제 Convolution과 Cross-Correlation의 차이에 대해서 알아보자.

2-1. Convolution(합성곱)

우선 컨볼루션의 수학적 수식은 다음과 같다.

 

Convolutuon 수식

 

위 수식에서 f(T)은 입력데이터(x), g(t-T)은 필터(Filter)함수를, 입력 데이터와 필터함수의 합성곱(Convolution)인  (f*g)(t)는 y 즉, 출력을 나타낸다. 필터 함수에 대해서는 이후 목차인 4. CNN이 동작하는 과정에서 자세히 살펴보자. 우선은 간단하게 필터함수에 대해 정의하자면, 전체 이미지를 필터함수라는 것을 통해 부분적으로 훑어가면서 해당 이미지의 특징을 추출하기 위해 사용되는 함수이다.

 

2-2. Cross-Correlation(교차상관)

 

Cross-Correlation 수식

 

위 수식에서 각 함수의 의미는 컨볼루션일 때와 동일하다. 두 수식을 놓고 보았을 때, 한 가지 차이점이 보인다. 바로 필터 함수 g()안에 있는 부호가 달라진다는 점이다. 

 

Convolution에서 필터함수 g()는 입력데이터 함수 f()에서 -를 붙여 뒤집어(y축 대칭) t만큼 평행이동을 시켰다. 반면에 Cross-Correlation은 필터 함수 g()를 뒤집지 않고 t만큼 평행이동을 시켰다. 그리고 각각의 상태로 입력함수와 필터함수의 겹치는 부분을 -무한대 ~ +무한대로 이동하면서 적분시켜 면적을 구하는 것이다. 이 겹치는 면적을 구하는 동영상은 하단을 참고해보자. 이해하기 매우 직관적이다.

https://www.youtube.com/watch?v=O9-HN-yzsFQ

Cross-correlation VS Convolution

따라서 필터함수를 뒤집었는지 아닌지가 두 개의 차이점이다. 하지만 CNN의 목적은 이 필터함수 값들(파라미터=CNN에서의 Weight)을 학습하기 위한 것이다. 다시 말해서 겹치는 부분의 면적을 구하기만 하면 된다. 그렇기 때문에 필터함수를 뒤집었는지 여부는 상관이 없다. 그래서 딥러닝 프레임워크에서는 필터함수를 뒤집는 연산을 추가하는 것은 오히려 연산량을 늘리는 것이기 때문에 필터함수를 뒤집지 않는 Cross-Correlation을 실질적으로 사용해 구현되어 있다.

3. CNN의 특성

CNN의 Convolution에 대해서도 간단히 알아보았다. 그렇다면 이미지 데이터에 대해서 DNN에 비해 CNN의 장점은 무엇일까?

 

• DNN에 비해 파라미터 개수가 현저히 적다. 즉 DNN보다 과대적합 문제를 덜 발생시킨다.
• 필터함수를 사용해 이미지에서 부분적인 특성을 추출한다. 이 때 이 필터함수는 여러개를 사용할 수 있다. 여러개의 필터를 사용한다는 것은 이미지의 여러개 특징을 추출한다는 것과 동일한 의미이다.
• Weight Sharing: 필터의 Weight값을 고정시킨 필터함수를 이동(shift)시켜서 이미지의 지역적인 특성을 추출한다. 그런데 필터를 shift 하면서 겹쳐지는 부분이 발생하기도 하며 이 때 필터값들을 공유한다고 하여 Weight Sharing 특성이 존재한다.
• Pooling(SubSampling) : 일종의 Downsampling이다. 필터함수로 추출한 특징 값들 중 일정한 기준(max, average 등)으로 대푯값을 추출한다.(참고로 Pooling도 필터함수처럼 size가 존재) 또한 Downsampling이기 때문에 파라미터의 감소(차원의 감소) 역할을 하기도 한다.

4. CNN이 동작하는 과정

CNN은 그렇다면 어떻게 동작하는 걸까? 단계적으로 하나씩 알아가보자.(이미지 출처) 

#실제로 딥러닝 프레임워크에서는 Cross-Correlation 과정이지만 편의상, 그리고 모델 이름 자체가 Convolutional Neural Network이기 때문에 앞으로는 헷갈리지 않도록 Cross-Correlation을 Convolution이라고 부르겠습니다.

4-1. Filter(=Kernel) 과정

Filter로 이미지 특징을 추출한다.

 

가장 먼저 하는 단계는 위 그림처럼 '비행기'라는 이미지 데이터가 input으로 입력되었을 때 사용자가 임의로 설정한 랜덤값들로 이루어진 필터함수로 이미지의 특징을 추출한다. 보통 입력 데이터 사이즈가 필터 사이즈보다 크며 만약 "입력 데이터 사이즈 = 필터 사이즈" 가 된다면 FNN(Feed-forward Neural Network) 즉, 일반적인 DNN 방식과 동일해진다. 

 

또한 위에서도 언급했듯이 필터 개수는 여러개를 사용할 수 있으며 실제로 여러개의 필터를 사용해 이미지의 여러 특성을 동시에 추출하는 경우가 빈번하다. 그렇다면 이미지의 부분과 필터가 어떻게 Convolution하는 것일까?

 

입력 이미지와 필터가 계산되는 방식

 

위 움직이는 그림에서 왼쪽 5*5 사이즈의 Image에서 빨간색 글씨로 오른쪽 아래 조그맣게 써있는 것이 바로 필터이다. 즉 필터는 3*3 사이즈로 [[1,0,1], [0,1,0], [1,0,1]] 과 같이 구성되어 있다. 

 

따라서 이런 3*3 사이즈의 필터로 5*5 입력 이미지의 부분을 하나하나씩 훑기 시작한다. 그리고 한 번 훑을 때마다 즉, 이미지의 3*3 사이즈의 한 부분을 훑을 때마다 Convolved Feature이라는 추출된 특징 매트릭스에 값이 하나씩 계산된다. 

 

좀 더 자세히 연산이 어떻게 이루어지는지 보기 위해 그림 하나를 더 살펴보자.

 

https://anhreynolds.com/blogs/cnn.html

 

위 그림처럼 파란색 네모칸으로 되어 있는 입력 데이터에서 필터 사이즈만큼의 부분 데이터값과 보라색 필터값을 연산해준다. 연산하는 방법은 부분 입력 데이터값과 필터값 각각 동일한 위치에 매핑되는 값들끼리 곱해서 합(summation)해주면 된다. 실제 31이 나오는지 궁금하다면 직접 종이에 한 번 계산해보자. 

 

여기서 중요하게 짚고 넘어가야 할 점이 있다. 어찌되었든 CNN도 딥러닝 모델의 한 가지 종류이며 DNN처럼  파라미터값을 업데이트해 나가며 학습해나간다. CNN은 그 업데이트하는 파라미터값이 바로 지금 배웠던 필터의 값들이라는 점이다. 따라서 CNN을 처음 학습 시, 사용자가 필터의 값들을 임의의 랜덤값으로 초기화 세팅을 해주며 다음부터는 CNN 모델이 학습 데이터에 기반해 초기화시킨 랜덤값들을 최적의 값으로 업데이트 시켜나간다.

 

참고로, 부가적인 이야기지만 선명한 원본 이미지를 블러링(흐릿하게 하는 것)시켜주기 위해서 필터 초기값을 Gaussian 분포로 설정하여 원본 이미지를 흐릿한 이미지로 변환시키기도 한다.

4-2. Convolution + Pooling

다음은 컨볼루션과 Pooling 과정이다. 보통 한 번의 Convolution과 Pooling을 수행하고 나면 CNN에서 한 개의 층(layer)이 완성된다. 여기서는 여러번의 컨볼루션과 풀링 과정에서 변화가 생기는 차원 수에 대해서 알아보려 한다.

 

https://medium.com/machine-learning-bites/deeplearning-series-convolutional-neural-networks-a9c2f2ee1524

 

우선 위 그림에서 f는 필터 사이즈, s는 stride, p는 padding(padding에 대한 개념은 하단에서 다루겠다. 위 그림에서 padding=0이기 때문에 신경쓰지 않아도 된다.)

 

그림 속 32*32 사이즈의 입력 데이터에서 6개의 필터를 적용해 특징을 추출한다. 추출한 특징 이미지의 size는 28*28이며 추출한 특징 개수는 6개이다.(필터개수 6개이기 때문에 추출되는 특징 개수도 6개임을 기억하자)

<Stride란?>

여기서 Stride에 대한 개념에 대해 짚고 넘어가자. Stride를 설정하는 목적은 필터를 이동시키면서 Weight sharing을 하게 되면 중복된 값이 계속적으로 나오고 이를 방지하기 위한 것이다. Stride에 대한 직관적인 이해를 위한 그림은 다음과 같다.

 

https://indoml.com/2018/03/07/student-notes-convolutional-neural-networks-cnn-introduction/

 

왼쪽과 같은 입력 데이터가 존재할 때, 3*3 사이즈의 필터를 Stride=2 일때, 적용한 그림이다. 왼쪽의 빨간색 표시된 부분을 보면 점선으로 된 부분에 첫 번째로 필터링을 진행하고 다음 필터링을 진행할 때 처음에 진행했던 이미지의 부분 데이터에서 '2칸' 만큼 띄어서 필터링을 적용하는 것이다.(Stride size를 3 by 1과 같이 직각형태로 설정할 수도 있다)

 

이제 다시 컨볼루션 과정으로 돌아가서 컨볼루션을 수행한 후 Pooling하는 과정을 거친다. Pooling은 필터를 통해 추출된 특징 데이터 값들을 사용자가 정의한 기준(최댓값, 평균값)으로 대푯값을 추출한다. 

 

이렇게 컨볼루션과 풀링과정을 하나의 layer로 구성되며 이 과정을 반복적으로 수행해 여러개의 층으로 구성된 CNN을 구현하게 된다.

다음 단계로 넘어가기 전에 Padding이라는 개념에 대해서도 살펴보자.

<Padding이란?>

패딩은 입력 데이터의 사이즈를 늘려주는 역할을 한다. 여기서 입력 데이터란, 최초로 입력되는 이미지 데이터가 될 수도 있고 중간에 CNN layer를 거쳐서 나오게 된 특징들 데이터가 될 수도 있다. 

 

Padding이 추가된 상태에서 필터하는 과정

 

위 그림 속 점선으로 되어 있는 부분들이 바로 패딩에 해당한다. 패딩에 들어가는 값은 주로 0을 넣으며 'zero padding'이라고도 한다. 물론 이 패딩값에 다른 임의의 값을 넣어줄 수도 있다. 하지만 이미지는 정적 상태이기 때문에 0을 채운다는 것을 알아두자.(패딩에 임의의값을 넣는 경우는 연속되고 순환되는 움직이는 이미지일 경우 사용된다고 한다)

 

또한 딥러닝 프레임워크로 구현 시 padding인자에 'SAME'이라는 값을 넣어줄 수 있는데 이는 입력 데이터 size와 필터링을 거친 후의 출력 데이터 size가 같도록 입력 데이터에 그만큼 패딩을 추가해주는 것이다. 또한 padding이 'VALID'라는 것은 padding 크기를 0으로 설정해준다는 의미이다.

 

참고로, Stride와 Padding은 일종의 Feature engineering 기술로서 컨볼루션이나 풀링 과정 어디에서나 사용될 수 있다. 

4-3. Flatten

여러번의 컨볼루션 layer를 거친 후  Matrix로 된 최종 특징 데이터들이 도출되었을 것이다. 이제 이를 Flatten 즉, 열 벡터로 쭉~ 펴주어서 FNN을 수행하도록 준비한다. 즉, 최종적인 결과값을 예측하도록 one-hot vector 형태로 맞춰주기 위함이 주된 목적이다. 아니 그런데 갑자기 FNN이 왜 등장할까? 사실 CNN안에는 FNN이 포함되어 있다고 할 수 있다. 어찌됬건 본질적인 목적인 이미지를 분류시키기 위해서 FNN과정이 필요하다. 따라서 필터, 컨볼루션, 풀링 등과 같은 이전까지의 작업들은 바로 포스팅 초기에서 언급했던 CNN의 '중요한 의미를 담긴 픽셀들만 이용'을 도맡아 한 셈이 된다.

 

Flatten으로 Fully Connected layer를 만들 준비하기

 

위 처럼 Flatten을 수행해준 후 기존의 FNN처럼 새롭게 Weight, bias값을 새롭게 정의해주고 파라미터 학습을 시작한다. 그리고 최종적으로 softmax 활성함수를 사용해 multi-class classfication을 수행한다.(softmax만 활성함수로 언급한 것은 이미지 분류는 다중분류가 일반적인 문제로 등장하기 때문이다)

4-4. Dropout

Dropout이란, 일종의 '노드(=unit)버리기' 이다. 위 CNN의 단계적인 그림에서는 등장하지 않았지만 FNN 과정에서 Dropout이라는 feature engineering 방법이 존재한다. 물론 필수적인 것은 아니지만 Dropout은 다음과 같은 특징이 있다.

 

• 노드를 일부 삭제해 과대적합 문제를 해결한다.
• 노드 제거 시 랜덤한 확률로 제거한다.
• Dropout 수행 후, Train 데이터에서는 Cost가 증가하지만 Test 데이터에서는 Cost가 감소한다.
• Pooling과는 일종의 '버리기' 라는 관점에서 비슷할 수 있지만, Pooling은 일정한 기준을 기반으로 값을 버리지만 Dropout은 랜덤하게 값(노드)을 버린다.

참고로, 과대적합 문제를 해결하는 방법으로서 '버리기' 말고도 '추가하기' 방법이 있다. 바로 적당한 크기의 Noise 데이터를 추가해 과대적합 문제를 해결할 수 있다.

 

https://m.blog.naver.com/PostView.nhn?blogId=laonple&logNo=220818841217&proxyReferer=https:%2F%2Fwww.google.com%2F

 

# Refrerence

tensorflow.blog/2017/12/21/convolution-vs-cross-correlation/

Convolution vs Cross-correlation

www.mdpi.com/1424-8220/19/22/4933/htm

A Convolutional Neural Network for Impact Detection and Characterization of Complex Composite Structures