[ML] Recurrent Neural Network(RNN)

🔉해당 자료 내용은 순천향대학교 빅데이터공학과 김정현 교수님의 수업자료에 기반하였으며 수업자료의 저작권 문제로 인해 수업자료를 직접 이용하지 않고 수업자료의 내용을 참고하여 본인이 직접 작성하였으므로 저작권 문제가 발생하지 않음을 필히 알려드립니다. 

 

저번 포스팅에서 이미지 분류 문제를 풀어나가는 데 가장 큰 공헌을 한 CNN(Convolutional Neutral Network)에 대해 알아보았다. 이번 포스팅에서는 '순서'가 중요한 의미를 갖는 문제를 해결해나가는 데 많은 도움을 준 RNN(Recurrent Neural Network)에 대해 알아본다.

 

우선 'Recurrent' 의 사전적 의미는 '재발하는', '되풀이', '재귀적인' 이다. 말 뜻 대로 무언가 계속 되풀이한다는 의미를 내포하고 있다. 

 

Recurrent는 반복을 의미한다.

 

이제 RNN에 대해 본격적으로 파헤쳐 보자. 목차 순서는 다음과 같다.

 

1. RNN이란?

2. RNN의 기본 구조

3. RNN의 종류

4. 문장 자동완성은 RNN이 하는 것이다!

1. RNN이란?

그렇다면 RNN은 대체 무엇을 반복한다는 걸까? 바로 NN 즉, 뉴럴 네트워크를 반복한다는 것이다. 어떻게 뉴럴 네트워크를 반복한다는 것이지? 하는 생각이 들며 감이 오지 않는다면 다음 그림을 보자.

 

RNN의 기본 형태

 

왼쪽 그림은 RNN 구조를 간단하게 나타낸 것이다. 왼쪽 그림을 직관적으로 이해하기 위해서 'Unfold' 시킨 오른쪽 그림을 보자. 오른쪽 그림을 보면서 RNN을 이해하기 위한 기본적인 용어에 대해서 짚고 넘어가자.

 

• X : 입력 데이터를 의미한다. 
•  h : RNN Cell이라고 부른다. 이 RNN cell안에는 특정 개수의 노드(뉴런)들이 존재한다. 즉, 이곳에 뉴럴네트워크 구조가 존재한다고 보면 된다. 
• U : 입력데이터 X와 Weight가 곱해져 h(RNN Cell)안에 존재하는 노드들을 출력값으로 도출시킨다. 이 때 'Weight'가 바로 U이다. 보통 U의 size는 input_size * neuron_size 가 된다.
• O : RNN Cell에서 나오는 출력값을 의미한다. 이 출력값은 RNN Cell이 마지막인지 여부에 따라 중간출력값 또는 최종출력값을 의미한다. 즉, 마지막 RNN Cell을 제외한 중간 단계의 RNN Cell에서 출력되는 것들은 모두 '중간' 출력값들이 되겠다.
• W : h(RNN Cell)안에 존재하는 노드들과 Weight가 곱해져 O(중간 또는 최종 출력값)를 만들어내는데, 이 때 'Weight'가 바로 W이다.
• V : 'state'라고 하며 RNN의 가장 포인트라고 할 수 있다. 바로 h_t-1(이전 RNN Cell)에서 h_t(현재 RNN Cell)로 전달해주는 값이다. 즉, h_t에게 h_t-1에 있었던 정보에 대해 알려주는 셈이다. 이 때 V라는 state를 전달해줄 때도 따로 Weight값을 곱해준다. 시간 축마다 넘겨 주는 state에 곱해주는 Weight는 모든 RNN Cell에서 동일하다는 것도 잊지말자. (bias도 추가하기도 한다)

2. RNN의 기본구조

이제 RNN에 대한 용어를 알아보았으니 위에서 보았던 RNN 구조를 좀 더 심층적으로 파악해보자. 

 

RNN의 단일 구조

 

우선, 수식이 등장했다고 무서워하지 말자. 우리가 그동안 배워왔고 잘 수행해왔던 기본적인 뉴럴네트워크의 수식과 비슷하다. 먼저 전체적인 흐름대로 생각해보자. 가장 먼저 t 라는 시간축일 때 x_t라는 입력 데이터가 h_t라는 RNN Cell에 들어오게 될 것이다. h_t로 들어오게 될 때 입력 데이터 x_t에 곱해줄 것은 바로 W_xh라는 Weight 값이다. 목차 1번에서 배웠던 용어에 대응시켜본다면 'U'가 된다. 그리고 추가적으로 할 것은 기본적인 뉴럴네트워크에도 그랬듯이 b_h라는 bias값을 더해준다.

 

자, 여기까지는 기본 뉴럴네트워크의 단계와 비슷하다. RNN이 되기 위해서는 한 가지만 추가해주면 된다. 바로 t-1시간 축의 RNN Cell인 h_t-1에서 넘겨주는 state를 참조해주는 것이다. 이 state는 위 그림에서 W_hh * h_t-1을 의미한다. h_t-1은 이전 state를 의미하며 W_hh는 이전 state를 현재로 넘겨줄 때 곱해주는 일종의 Weight값이다.(목차 1번에서 용어 'V'에 대해 설명할 때 "V라는 state를 전달해줄 때도 따로 Weight값을 곱해준다"라고 했는데 이 Weight가 바로 W_hh이다)

 

지금까지 입력 데이터에 Weight을 곱하고 Bias도 더했다. 또 이전 state의 정보를 받아 더해주었다. 마지막으로 최종의 h_t값을 만들기 위해서 활성함수인 탄젠트 하이퍼볼릭 함수를 적용한다.

 

다음으로 진행해야 할 단계는 (중간 또는 최종)출력값인 y_t를 도출해야 한다. y_t를 만들기 위해서 방금까지 만들었던 h_t값에서 출발하는데, 과정은 x_t(입력 데이터)에서 h_t를 만들 때 과정과 동일하다. 단 y_t를 만들 때는 이전 state를 참고하는 과정을 거치진 않는다. 왜냐하면 이미 h_t를 만들 때 이전 state를 참고하는 과정을 거쳤기 때문이다.

 

따라서 h_t에다가 Weight(W_hy)를 곱해주고 bias를 더해준다. 그리고 여기서 끝이 아니라 위 그림에서는 생략되었지만, 실제로는 위 그림 y_t에 활성함수 Softmax를 사용해 0~1사이의 확률값으로 만들어주고 arg_max를 취해주어 One-hot vector 형태로 만들어주는 경우도 빈번하다. 물론 경우에 따라 Softmax가 아닌 다른 종류의 활성함수도 사용하기도 한다.

 

자, 이제 단일 구조에 대해 세부적으로 배워봤으니 이 구조가 여러개 있는 RNN 구조 그림을 보자. 이해하기가 훨씬 수월할 것이다.

 

여러개로 구성되어 있는 RNN 구조

 

위 그림에 대해서 상세한 설명은 생략하겠다. 위 단일 구조에서 배웠던 것을 그대로 적용해서 생각해보자. 절대 한 번에 이해할 필요도 없다. 천천히, 두 번 그리고 세 번씩 읽어가면서 이해해보자. 필자는 10번 째 되서야 이해한 듯 하다.

3. RNN의 종류

다음은 RNN의 종류이다. 하단의 그림을 보고 개괄적인 구조를 살펴보자. 각 구조에서 다른 점이라고 한다면, RNN Cell 개수도 될 수 있지만 구체적인 종류를 나누게 하는 기준은 '입력 데이터의 개수와 중간 출력값의 개수' 이다.

 

RNN의 종류들

3-1. One to One

가장 왼쪽의 RNN Cell이 1개인 구조이다. 사실상 이는 기본 뉴럴 네트워크와 동일하다고 볼 수 있다. 왜냐하면 RNN은 이전 state를 통해 정이전 정보를 전달하는 개념이 포인트인데, RNN Cell이 한개라면 이전 state를 전달할 다른 RNN Cell이 존재하지 않기 때문이다.

3-2. One to Many

입력 데이터가 한개(One)가 들어가고 출력이 여러개(Many) 도출되는 구조이다. 이 구조는 주로 Image Captioning에 사용된다. Image Captioning은 저번 CNN 포스팅에서도 잠깐 언급했긴 했지만 머신러닝이 이미지를 보고 이미지에 대한 설명을 텍스트로 내뱉는 것을 말한다. 이에 대한 자세한 설명은 박지호님의 포스팅을 참고하자. RNN 과 CNN을 결합한 흥미있는 내용이니 이미지 처리에 관심있는 분들은 꼭 읽어보시길 추천드린다.

3-3. Many to One

One to Many와는 반대로 입력 데이터가 여러개(Many)가 들어가고 최종 출력만 한개(One)만이 도출되는 구조이다. 이 구조는 주로 감성분석에 사용된다. 즉, 텍스트 데이터가 입력 데이터로 들어가고 최종 출력값으로 해당 텍스트의 감정(긍정 또는 부정)값이 출력된다.

3-4. Many to Many

입력 데이터가 여러개가 들어가고 출력이 여러개가 도출되는 구조이다. 그런데 Many to Many 구조도 자세히 보면 2가지의 종류로 나뉜다.

위 그림에서 왼쪽으로부터 3번째, 4번째 그림을 서로 비교해보자.

 

3번째 구조는 데이터가 입력되다가 마지막 데이터가 입력되고 끝나는 동시에 출력값들이 도출되기 시작한다. 이런 구조는 어떤 경우에 사용될까? Machine Trasnlation 즉, 기계 번역에 사용된다. 왜냐하면 문맥을 고려해야 하기 때문이다. 즉, 입력 데이터가 RNN에 들어가는 동안 문맥을 고려(이전 state를 전달 받음)하고 입력 데이터가 다 들어간 후 이제 번역된 문장인 출력값을 도출해야 하기 때문이다. 

 

이러한 구조는 우리가 자주 사용하는 '구글 번역기', '네이버 파파고'가 바로 이러한 종류의 알고리즘을 사용한적이 있었다.(물론 현재는 이 구조보다 훨씬 더 발전된 모델을 사용하고 있을 것이다) 3번째 그림과 같은 구조를 'seq2seq' 모델 즉, 'encoder-decoder' 모델이라고 부르는데, 이 개념에 대해서도 설명이 잘된 박지호님의 글이 있어 공유한다.

 

다음 4번째 구조는 3번째와 달리 입력 데이터가 들어갈 때마다 바로 출력값이 도출된다. 이러한 구조는 바로바로 출력을 해야하는 주로 Video Classification에 사용된다.

4. 문장 자동완성은 RNN이 하는 것이다!

우리가 인터넷 또는 구글 닥스, 핸드폰을 사용할 때 특정 단어를 치다보면 기계가 알아서 문장자동완성을 해주는 것을 볼 수 있다. 이 문장자동완성 기능이 바로 RNN을 통해 구현되는 것이다.

 

su만 쳐도 suggestions를 자동완성 시켜준다.

 

구체적으로 문장자동완성은 'Many to Many'의 RNN 구조를 사용한다. 위 그림을 예시로 들자면, 단어 'suggestions'의 알파벳 하나하나가 입력데이터로 들어가 RNN을 통해 학습을 하고 다음에 올 알파벳을 예측해주는 것이다.

 

구체적으로 어떻게 다음 알파벳을 예측하는 것인지 보기 위해 'hello'의 'o'를 예측하기 위해 RNN을 사용하는 예시를 살펴보자.

 

'hell'을 갖고 마지막에 올 'o'를 예측하기

 

문장 자동완성이 이루어지는 내부적인 RNN 구조는 위와 같다. h, e, l, l 이 RNN의 각 입력 데이터로 들어간다. 그리고 입력 데이터가 하나씩 들어갈 때마다 다음에 올 단어를 중간출력값으로 도출시킨다. 하나 예시를 보자면, 첫 번째 알파벳 'h'가 들어갔을 때 중간 출력값으로 'e'에 해당하는 값이 도출된다. 그리고 다음 입력 데이터 'e'가 들어갔을 때 중간 출력값을 내기 위해 알파벳 'h'가 들어갔을 때 발생한 정보(이전 state)를 참조해 두 번째 출력값인 'l' 을 도출시킨다.

 

이렇게 똑같이 다른 입력데이터들에도 적용해 최종 출력값인 'o'를 출력하는 것을 볼 수 있다.

 

# Reference

ratsgo.github.io/natural%20language%20processing/2017/03/09/rnnlstm/

RNN과 LSTM을 이해해보자! · ratsgo's blog