[ML] 데이터를 복구하는 Auto Encoder?

🔉해당 자료 내용은 순천향대학교 빅데이터공학과 김정현 교수님의 수업자료에 기반하였으며 수업자료의 저작권 문제로 인해 수업자료를 직접 이용하지 않고 수업자료의 내용을 참고하여 본인이 직접 작성하였으므로 저작권 문제가 발생하지 않음을 필히 알려드립니다. 

 

이번 포스팅에서는 입력 데이터를 압축시키고 다시 확장해 결과 데이터를 입력 데이터와 최대한 동일하게 만들기 위해 파라미터를 학습시키는 Auto Encoder에 대해서 알아보려고 한다. 목차는 다음과 같다.

 

본드를 붙여 복구하는 것처럼 데이터도 복구가 가능하다.

 

1. Auto Encoder란?

2. PCA vs Encoder

3. Stacked Auto Encoder

4. Denoising Auto Encoder(DAE)

5. Variational Auto Encoder(VAE)

6. Examples of Auto Encoder

1. Auto Encoder란?

위에서도 잠깐 언급했지만 Auto Encoder란 입력 데이터를 압축시켜 압축시킨 데이터로 축소한 후 다시 확장하여 결과 데이터를 입력 데이터와 동일하도록 만드는 일종의 딥 뉴럴 네트워크 모델이다. Auto Encoder는 입력 데이터를 일종의 Label(정답)로 삼아 학습하므로 Self-supervised Learning 이라고 부르기도 하지만 어쨋거나 y값이 존재하지 않으며 이용하지 않는다는 점에서 Unsupervised Learning으로 분류되는 모델이다. Auto Encoder가 어떻게 구현되는지 알아보기 위해 다음 그림을 살펴보자.

 

https://mc.ai/auto-encoder-in-biology/

 

위 그림은 손글씨 이미지 데이터인 숫자 1을 Auto Encoder 모델에 넣은 후 결과값으로 입력 데이터와 비슷한 손글씨 숫자 이미지 1을 출력하는 그림이다. 입력 데이터인 784개의 뉴런들을 500개, 300개, 2개로 압축시킴으로써 입력 데이터의 대표적인 특성을 추출한다. 그리고 이를 기반으로 다시 대칭적인 구조로 300개, 500개 뉴런으로 확장시킨 후 최종적으로 입력 데이터와 똑같은 사이즈인 784개의 뉴런 개수로 최종 값을 출력시킨다. 그렇게 해서 나온 결과 데이터가 그림의 오른쪽에 살짝 희미한 이미지 데이터이다.

 

Auto Encoder에서 압축시키는 부분은 Encoder 라고 하며 확장시키는 부분은 Decoder라고 부른다. 참고로 Encoder 또는 Decoder 둘 중 하나의 파라미터를 고정시키고 나머지 부분만 학습시키는 경우도 있다. 둘 중 한 부분만을 이용하되 전체적인 Encoder - Decoder 구조는 유지해야 한다.

2. PCA vs Encoder

Auto Encoder의 Encoder 부분은 입력 데이터를 압축하는 과정에서 데이터의 차원을 축소시킨다. 차원의 축소 관점에서 Encoder 부분은 주성분 분석인 PCA(Principal Component Analysis)와 유사한 점이 있다. 차원의 축소는 결국 특징을 뽑아낸다는 것을 의미하는데, 다음 그림을 살펴보자. 참고로 PCA에 대해 모른다면 여기를 참고하자.

 

https://www.jeremyjordan.me/autoencoders/

 

기본적으로 PCA는 선형적으로 데이터 차원을 감소시켜 준다. 위 그림에서 보는 것처럼 빨간색 실선이 PCA를 뜻한다. 데이터가 주어졌을 때 위와 같이 선형적으로 데이터의 차원을 축소시키게 된다. 반면에 초록색 실선인 Auto Encoder의 Encoder는 비선형적으로 데이터의 차원을 줄여줄 수 있다. 

 

참고로 PCA는 Kernel PCA를 활용해 비선형적으로 데이터를 축소할 수 있긴 하지만 보통 선형적으로 데이터 차원을 축소하고 비선형적으로 데이터를 축소하기 위해서는 Auto Encoder를 사용한다.

3. Stacked Auto Encoder

Auto Encoder는 보통 Stacked Auto Encoder 구조로 많이 활용된다. 구조는 우리가 위에서 봐왔던 구조와 동일한데 바로 Symmetric(대칭적) 구조이다. 다음 그림을 보자.

 

https://medium.com/@venkatakrishna.jonnalagadda/sparse-stacked-and-variational-autoencoder-efe5bfe73b64

 

위 그림을 보면 입력데이터와 Encoder 부분, Decoder와 출력데이터 부분이 대칭적인 구조를 보이는 것을 알 수 있다. 구조에 대해 더 자세히 살펴보자. 우선 Input layer의 입력 데이터를 압축시켜 가장 대표적인 특성을 추출한 층은 바로 Encoded Layer에 있는 노드들이다. 이를 Codings라고 부르기도 한다. 이 층이 압축된(Compressed) 데이터를 갖고 있는 Layer이며 이 부분이 결과 데이터가 입력 데이터와 얼마나 동일하게 출력할 것인가를 좌지우지 하는 역할이라고 볼 수 있다. 따라서 하이퍼파라미터로서 Encoded Layer의 노드 개수 설정이 매우 중요하다. 만약 출력 데이터가 입력 데이터와 동일하지 않게 출력된다면 Encoded Layer의 노드 개수가 적은 것이 원인일 가능성이 크다.

 

딥러닝 모델을 구축 시에 중요한 것 중 하나는 딥러닝 노드, 레이어의 개수 등 하이퍼파라미터 종류가 다양하다는 것이다. 이 중 Auto Encoder를 모델링할 때는 우선 Encoded layer의 노드 개수를 1차적으로 적절히 설정한 후 Layer2, Layer1 노드 개수를 설정하는 순서로 진행하는 것이 바람직하다. 

 

그런데 이런 생각을 할 수도 있을 것 같다. "그렇다면 입력 데이터를 압축하지 않고 사이즈를 유지한 채 출력 데이터로 그대로 내보내면 가장 입력 데이터와 동일하지 않을까?" 라고 생각할 수 있다. 물론 그렇게 설정할 수 있다. 하지만 우리가 원하는 것은 입력 데이터를 압축시킴으로써 얻는 내재된(Latent) 정보를 얻기 위한 것이다. 또한 Auto Encoder는 양이 큰 데이터를 축소시켜 전달하는 역할을 하기도 한다. 따라서 압축을 하지 않는 것은 Auto Encoder의 근본적인 목적에 부합하지 않기 때문에 해당 방법은 고려할 만하지 않다.

 

Stacked Auto Encoder는 Unsupervised pre-training으로 활용될 수 있다. pre-training에 관련되어 Transfer Learning에 대한 개념을 잘 모른다면 여기를 참고하자. 여기서는 간단히 소개하고 넘어가겠다. pre-training이란, 이미 학습된 다른 모델의 파라미터를 그대로 가져가서 사용하는 것을 말한다. 

 

https://slideplayer.com/slide/16472513/

 

위 그림을 보자. 먼저 연두색 입력 데이터를 그림 하단의 Auto Encoder를 사용해서 연두색 입력 데이터의 대표적인 특성을 추출하도록 파라미터를 학습시킨다. 이 파라미터를 고정시킨 채 그림 속 가장 위에 있는 뉴럴 네트워크 파라미터에 그대로 사용한다. 그러면 왜 Unsupervised 일까? 바로 Auto Encoder가 Label없이 파라미터를 학습시키기 때문이다.(물론 입력 데이터를 Label로 삼아 학습시키지만 Unsupervised Learning으로 분류된다고 위에서 언급했다) 

 

따라서 처음부터 파라미터를 임의의 값으로 초기화시켜 그림 속 가장 상단에 있는 분류용 딥 뉴럴 네트워크에 입력 데이터를 넣기 보다는 Auto Encoder를 활용해 입력 데이터의 대표적인 특성을 나타내는 파라미터를 얻어 이를 분류용 딥 뉴럴 네트워크에 사용해 더욱 더 빠른 학습과 성능 향상을 시키기 위함이다. 

4. Denoising Auto Encoder(DAE)

DAE는 임의의 데이터인 노이즈 데이터를 제거하거나 노이즈를 일부러 추가해 중요한 특징을 추출하도록 하는 Auto Encoder이다. 자세한 구조는 다음 그림을 살펴보자.

 

https://towardsdatascience.com/applied-deep-learning-part-3-autoencoders-1c083af4d798?gi=b93263c1ab82

 

깨끗한 원본 이미지에 Gaussian 분포에서 샘플링한 임의의 노이즈 데이터를 원본 이미지에 첨가한다. 그리고 이 노이즈가 추가된 데이터를 압축시키고 확장하는 Auto Encoder를 수행한다. 이렇게 하는 이유는 무엇일까? 왜 깨끗한 이미지에 일부러 노이즈를 첨가하는 것일까? 왜냐하면 학습 데이터는 위의 Original Image같이 깨끗한 이미지겠지만 실제 낯선 환경의 실제 Test 데이터는 노이즈가 첨가되어 있는 지저분한 데이터일 수 있기 때문이다.

 

만약 깨끗한 원본 이미지 데이터로만 모델이 학습됐다면 노이즈가 첨가된 데이터가 들어왔을 시 원본 이미지를 제대로 복구시키지 못하는 일종의 Overfitting 문제를 야기할 것이다. 하지만 Gaussian 분포에서 샘플링하는 노이즈는 학습할 때마다 노이즈 데이터가 바뀔 것이고 이렇게 계속적인 학습이 이루어진다면 모델은 다양한 노이즈가 첨가된 데이터들을 학습시키게 된다. 결국 모델의 Regularization(일반화) 효과를 낸다.

 

따라서 혹여나 '더러운 데이터' 즉, 노이즈가 첨가된 데이터가 들어왔을 경우를 대비해서 모델이 스스로 잘 복구시키도록 일부러 원본 이미지에 노이즈를 첨가한 후 모델을 학습시키는 것이다. 

 

물론 애초에 노이즈가 첨가된 이미지 데이터를 입력 데이터로 넣어 노이즈가 제거된 데이터를 도출하는 역할도 수행한다.

 

다음은 Dropout을 통해 노이즈를 일부러 첨가시키고 첨가시킨 데이터를 학습시키는 구조이다. 다음 그림을 보면서 방금 위에서 배웠던 Gaussian 노이즈를 첨가하는 구조도 같이 유심히 관찰해보자.

 

https://excelsior-cjh.tistory.com/187

 

Dropout은 사전에 정의한 확률로 노드의 일부 개수를 삭제해버린다. 따라서 이미지 데이터로 예를 들자면 이미지 픽셀의 일부가 사라지는 것이다. 이는 Gaussian 노이즈를 첨가한 후 효과와 동일하게 Overfitting을 예방하는 Regularization(일반화) 효과를 일으킨다.

5. Variational Auto Encoder(VAE)

지금까지 소개했던 모든 Auto Encoder들은 기본적으로 노이즈를 제거하는 기능이 존재한다. 그런데 굳이 나누어 보자면 DAE는 노이즈를 제거하는 기능을 주로 했다고 한다면 VAE는 노이즈를 첨가하는 기능을 주로 한다. 그럼 VAE의 구조는 어떻게 생겼을까? 다음 그림을 보자.

 

https://engineer-mole.tistory.com/30

 

구조를 이해하기 위해 입력 데이터가 학습되어 출력 데이터로 도출되는 과정을 기준으로 순차적으로 살펴보자. 우선 입력데이터가 들어가고 데이터를 압축하기 시작한다. 그리고 Hidden2라는 입력 데이터의 대표적인 특성들을 추출한 노드들이 존재하는 층이 만들어졌다. 이 때 Hidden2 노드 개수에 따라 다르겠지만 예를 들어 Hidden2의 노드 개수가 6*6인 36개의 값들이 존재한다고 해보자.

 

이 36개의 값들 중 한 번의 샘플링을 통해 대표 특성들의 또 대표 특성들을 추출한다. 그리고 이 또 한번 추출된 대표 특성에 Gaussian 노이즈를 더해준다. 이렇게 해서 임의의 노이즈가 첨가된 또 다른 대표 특성들이 생성되었다. 그리고 이를 기반으로 다시 확장하여 출력 데이터를 도출한다.

 

이렇게 대표 특성들 중 한 번 샘플링을 하고 노이즈를 더한 새로운 대표 특성 데이터를 확장 시켜 출력 데이터를 도출하는 과정을 모델이 학습시키면서 계속적으로 반복한다. 이는 결국 샘플링을 계속적으로 반복할수록 샘플링해서 도출된 값들(위 그림에서 Codings라고 되어 있는 μ, σ값들)이 처음 압축시킨 대표 특성(그림 속 하단부의 Hidden2)들을 대표하는 대표값에 근사할 것이라는 가정 하에 출발하는 모델이다.

6. Examples of Auto Encoder

Auto Encoder가 사용되는 실생활 예시는 다음과 같은 사례들이 있다.

 

Auto Encoder의 예시

 

위 예시 이외에 이미지의 손상된 부분을 복구하는 사례, 동일한 이미지의 파일 크기를 감소시키는 것, 사진의 Water mark 제거 또는 영상의  특정 물체를 제거하는 용도 등 다양한 분야에 사용되고 있다.