[GenAI] 생성적 적대 신경망: GAN(Generative Adversarial Network), WGAN, WGAN-GP

🔊 해당 포스팅은  OREILLY의 '미술관에 GAN 딥러닝 실전 프로젝트' 서적을 읽고 개인적인 목적 하에 작성되는 글입니다. 포스팅에 사용되는 모든 자료는 제가 직접 재구성하였음을 알립니다.

 

출처: Yes24

---

이번 포스팅에서는 지난 포스팅에서 배운 AE, VAE 모델과는 다른 메커니즘으로 동작하는 생성적 적대 신경망 이른바 GAN 이라고 불리는 모델에 대해 배워보자. 그리고 GAN의 한계점을 극복하는 WGAN, WGAN-GP 모델에 대해서도 배워보자.

1. 생성자 vs 판별자 간의 대결로 만들어지는 네트워크

GAN의 'A'는 Adversarial을 의미한다. 한국말로 하면 '적대적인'을 뜻한다. 왜 적대적인 의미를 담고 있을까? GAN은 생성자(Generator)와 판별자(Discriminator) 라는 두 네트워크의 '적대적인' 관계를 통해 만들어진다. 즉, 생성자와 판별자가 서로 이기려고 경쟁한다는 것이다. 

 

좀 더 구체적으로 이야기하자면, 생성자는 랜덤한 잡음(noise) 데이터를 마치 원본 데이터셋에서 샘플링한 것처럼 보이는 샘플로 변환한다. "데이터를 마치 원본 데이터셋에서 샘플링한 것처럼 보이는 샘플로 변환" 이라는 텍스트를 보니 약간 익숙하다. 바로 그 전에 알아본 AE, VAE 모델에서의 디코더의 목적과 매우 비슷하다. 단, AE, VAE에서는 '랜덤한 잡음' 데이터가 아닌 '인코더가 출력한 잠재 공간의 벡터 데이터'를 입력으로 넣어 생성했었다. 그래서 GAN에서의 생성자 모델은 마치 AE, VAE에서의 디코더와 매우 유사하다.

 

GAN에서는 또 하나의 모델이 존재한다. 바로 판별자이다. 판별자는 생성자가 만들어낸 샘플링 데이터가 원본 데이터셋에서 추출한 샘플인지 아닌지 즉, 진짜인지 아닌지 구별하는 모델이다. 판별자는 오히려 우리에게 더 익숙한 모델의 종류다. 컴퓨터 비전(혹은 이미지 분류) 분야에 입문하게 되면 가장 먼저 하는 튜토리얼이 MNIST 손글씨 분류, 개/고양이 이미지 분류 문제를 해결해본다. 바로 이렇게 인풋 데이터가 어떤 클래스 또는 레이블에 속하는 것인지 '분류하고 판별' 하는 모델이다.

 

GAN은 생성자, 판별자 2개 모델로 구성되어 있다

 

GAN이 학습하는 단계는 아래 목차에서 좀 더 자세히 알아보긴 하겠지만 간단히 순서를 정의하면 아래와 같다.

 

1. 최초에 생성자가 랜덤한 잡음을 사용해서 이미지를 생성한다.(이 때 생성된 이미지는 원본 이미지와 터무니 없이 다를 것임)
2. 판별자는 (생성자가) 생성한 이미지를 보고 원본 이미지와 얼마나 같은지 0 ~ 1 사이의 확률 값으로 예측
3. 이렇게 1,2 단계를 번갈아가면서 반복적으로 학습

결국, 위 단계를 간단하게 정의하면 생성자는 판별자를 속이기 위해 원본 데이터와 가장 비슷한 데이터를 만들려고 노력할 것이고, 판별자는 생성자가 사기꾼(?)이라는 것을 증명하기 위해 생성된 데이터를 원본 데이터와 정확하게 구분하려고 노력할 것이다. 이렇게 서로 2개의 모델이 서로 잘하려고 경쟁하면서 GAN 이라는 생성 모델의 목적인 "원본 데이터와는 다르지만 매우 비슷한 다른 이미지"를 달성할 수 있게 된다.

2. GAN 모델을 만들어보자

그러면 이제 GAN 모델을 직접 코드로 구현해보자. 책 저자의 깃헙 코드도 있긴 하지만, 2019년 때라 Tensorflow, Keras 버전이 다소 옛날이고, 현재 지원이 안되는 문법이나 함수가 있어 AE, VAE를 구현할 때도 저자 코드를 기반으로 pytorch로 새로 구현했다. 이번에 GAN도 그렇게 작성했다. 개발하는 데 다소 시간은 좀 오래 걸리지만 pytorch도 학습할 겸 저자 코드를 뜯어보는 것에서도 매우 많은 배움을 얻어간다.

 

먼저 우리에게 익숙한 판별자 모델을 만들어보자. 판별자의 목표는 다시 말하지만 생성자가 생성한 이미지가 진짜인지 가짜인지 예측하는 것이다. 즉, 지도 학습에서의 분류 문제이다. 참고로 GAN의 원본 논문에서는 합성곱(컨볼루션)이 아닌 완전 연결층(Fully-Connected)만을 사용했다. 하지만 그 이후로, GAN에서도 합성곱을 적용함으로써 판별자의 모델 예측 성능이 크게 향상되었다고 한다. 그래서 합성곱이 적용된 GAN을 DCGAN(Deep Convolutional GAN)이라고 부르기도 한다. 하지만 요즘에 등장하는 GAN의 파생모델들은 대부분 합성곱을 이용하고 있기 때문에 이 포스팅에서 언급하는 GAN도 DCGAN이라고 이해하면 된다. 판별자 모델을 만드는 코드는 여기를 참조하자.

 

다음은 생성자 모델이다. 위 그림에서 보았다 시피 생성자 모델의 입력은 일반적으로 다변수 표준 정규 분포에서 추출한 벡터이다. 지난 AE, VAE에서 다변수 표준 정규 분포 개념에 대해 배웠었다. 그 때 소개한 용어로는 '잠재 공간의 벡터'가 바로 생성자의 입력이 되는 셈이다. 생성자 모델을 만드는 코드는 여기를 살펴보자.

 

생성자 모델을 코드로 구현할 때 한 가지 특이한 함수를 사용했다. 바로 업샘플링이다. Tabular 데이터를 다룰 때도 '업샘플링'이라는 용어에 대해 배운적이 있었는데, 그 때는 주로 클래스 불균형이 존재하는 데이터셋에서 불균형을 제거하는 수단 중 하나로서 언급이 되었다. 하지만 이미지 처리에서의 업샘플링은 의미가 다르다. 말 그대로 입력 이미지의 높이, 너비를 증가(Up) 시키는 것이다. pytorch 코드를 예시로 하나 살펴보자. 만약 아래와 같이 높이, 너비가 2씩이고 채널 수가 1이며 배치 개수가 1개인 즉 shape가 (1, 1, 2, 2)인 데이터가 있다고 가정해보자.

 

import torch

raw_img = torch.arange(1, 5, dtype=torch.float32).view(1, 1, 2, 2)
raw_img

# shape: (1, 1, 2, 2)
# tensor([[[[1., 2.],
#           [3., 4.]]]])

 

이럴 경우, 우리는 pytorch에서는 Upsample 이라는 함수를 사용해서 원하는 크기만큼 높이와 너비를 늘릴 수 있다.

 

import torch

raw_img = torch.arange(1, 5, dtype=torch.float32).view(1, 1, 2, 2)
up_img = torch.nn.Upsample(scale_factor=2)(raw_img)
print(up_img)

# shape: (1, 1, 4, 4)
# tensor([[[[1., 1., 2., 2.],
#           [1., 1., 2., 2.],
#           [3., 3., 4., 4.],
#           [3., 3., 4., 4.]]]])

 

크기를 조절하는 것은 scale_factor 값으로 조절할 수 있다. 테스트 삼아 scale_factor를 다른 숫자로 했을 때 어떻게 shape이 변하는지도 살펴보면 이해하는 데 더 도움이 될 것이다.

 

이러한 업샘플링 방법은 AE, VAE에서의 디코더 부분을 구현할 때 사용했던 전치 합성곱(Transpose Convolution) 연산과 기능이 유사하다. 즉, 모두 이미지 원본 사이즈 차원으로 되돌리는 데 사용할 수 있는 유용한 방법들이다. 하지만 업샘플링 방법은 전치 합성곱과는 다르게 이미지 높이, 너비를 늘릴 때 픽셀 사이의 공간을 0으로 채우는 것이 아니라 기존 픽셀 값을 사용해서 채워넣는 점이 다르다. 

 

비록 전치 합성곱을 사용하는 것이 출력 이미지 경계에 계단 모양이나 작은 체크무늬 패턴을 만들게 되어 출력 품질을 떨어뜨린다고 알려져 있지만 모든 데이터에 일반화시키기는 어렵다. 다시 말해 사용하려는 이미지 데이터가 어떤지에 따라 효과가 달라질 수 있기 때문에 반드시 업샘플링과 전치합성곱 두 방법 모두 테스트 해보면서 더 나은 성능을 발휘하는 기법을 선택하도록 하자.

3. GAN의 학습 방법

다음은 가장 중요하다고 할 수 있으며 우리가 기존에 배워왔던 모델과는 확연히 다른 즉, GAN만의 특이한 점이라고 할 수 있는 학습 방법에 대해 알아보자. 우리는 지금까지 GAN에는 생성자와 판별자라는 2개의 모델로 구성되어 있다는 점을 배웠고, 각 모델의 목적성도 살펴보았다. 그러면 이제 GAN의 학습 순서와 방법에 대해 알아보자.

 

먼저 판별자 모델을 학습시켜서 판별자가 '어떤 이미지를 보고 이것이 진짜 이미지라고 판단할 수 있는 능력'을 갖도록 해주어야 한다. 그렇게 하기 위해서는 판별자 모델을 학습시키는 데이터셋에는 진짜 이미지와 가짜 이미지 '모두' 존재해야 한다. 말 그대로 진짜 이미지는 이미 우리가 갖고 있는 이미지 데이터셋 자체가 진짜 이미지이기 때문에 그대로 가져다 사용하면 된다. 하지만 문제는 가짜 이미지도 필요한 상황이다. 이를 위해 생성자 모델을 사용할 수 있다. 즉, 생성자 모델이 생성하는 이미지는 (설사 진짜 이미지와 매우 비슷하더라도) 어쨌건 가짜 이미지이다. 따라서 생성자 모델이 (잠재 공간 벡터 같은) 랜덤한 잡음을 입력으로 받아서 만들어낸 출력 이미지를 판별자의 학습 데이터셋에 포함시키는 것이다. 이 과정을 쉽게 도식화 하면 아래와 같다.

 

판별자 모델의 데이터셋 구성과 인풋, 아웃풋, 손실 함수

 

참고로 위 판별자 모델의 손실함수는 이진 분류에 자주 활용되는 이진 크로스엔트로피를 사용한다. 자 이제 판별자 모델을 학습시켜 판별 능력을 갖추게 만들었다. 

 

다음 순서는 생성자 모델과 판별자 모델을 연결시킨 즉, GAN 전체 모델을 학습시켜보도록 하자. 이 때 전체 모델을 학습시킬 때는 주의해야 할 점이 있다. 바로 생성자의 가중치만 업데이트 되도록 학습시켜야 한다.(그래서 사실상 'GAN 전체 모델을 학습 시킨다' 라고 했지만 실질적으로는 생성자를 학습시키는 셈이다.) 이유는 무엇일까? 이를 이해하기 위해 GAN의 본질적인 목적성을 다시 짚어보자. GAN을 우리가 배우고 이용하는 목적은 "진짜 이미지와 비슷한 가짜 이미지를 생성하는 것"이 목표이다. 이 말은 곧 GAN을 구성하는 판별자와 생성자 모델 둘 중 생성자의 능력을 키우는 목적에 좀 더 포커스가 있다는 것이다. 판별자를 학습시키는 것은 단지 생성자의 능력을 키우기 위한 수단일 뿐인 셈이다. 

 

따라서 최초에 우리는 먼저 판별자 모델을 학습시켜서 생성자의 능력을 키우기 위한 수단을 마련한 셈이다. 그래서 다음으로 GAN 모델 전체를 학습시킬 때는 생성자 모델 학습에 포커스를 맞추어야 하기 때문에 판별자가 학습되는 것을 막아야 하고 이 말은 판별자의 가중치가 업데이트되도록 해서는 안되는 것이다. 만약에 GAN 모델 전체를 학습시킬 때도 판별자가 학습되도록 놔두면 결과가 어떻게 될까? 좀 더 명확하게 이해하기 위해서 (추후에 코드로 살펴볼테지만) GAN 모델 전체의 출력값(output)과 손실함수를 계산해야 하는 정답(타겟)값이 무엇인가를 살펴보면 된다.

 

GAN 모델의 목적은 "생성자가 생성한 이미지가 진짜 이미지와 비슷해야 한다"이다. 이 말은 곧 생성자가 생성한 이미지가 판별자가 보았을 때 "진짜 이미지"로 판단해야 한다. 판별자가 "진짜 이미지"로 판단한다는 것은 타겟값이 1(1은 진짜 이미지, 0은 가짜 이미지를 의미)이어야 한다는 것이다. 다시 말해서 GAN 모델의 타겟값은 모두 1(진짜 이미지)이다. 이러한 상태에서 GAN 모델이 학습하게 된다. 

 

GAN 전체 학습 즉, 생성자만 학습시킬 때의 타깃 값은 모두 원소가 1인 즉 "진짜 이미지"여야 한다

 

이러한 개념을 머리에 두고 GAN 모델 전체를 학습할 때 만약 판별자 모델도 학습하게 된다면 어떻게 될지 예시를 들어보자. GAN 모델 학습 초기 시에는 생성자가 생성하는 가짜 이미지들은 진짜 이미지들과 터무니 없이 다른 이미지들일 것이다. 이러한 상태에서 판별자는 이 터무니 없이 다른 이미지들을 입력으로 받게 될 것이고 이를 "진짜 이미지"(타깃값이 모두 1이기 때문)로 판단하도록 판별자의 가중치가 업데이트 될 것이다. 결국 우리가 최초에 판별자 모델만 학습시켜서 판별자 모델의 능력을 기껏 키워놓았더니 GAN 모델 전체를 학습할 때 오히려 이 판별자 모델의 능력을 깎아먹는 셈인 것이다.

 

이러한 이유로 인해 GAN 모델 전체를 학습할 때는 판별자 모델의 가중치를 동결(frozen)시키고 생성자 모델의 가중치만 업데이트되도록 학습시켜야 한다.

(* 위 설명이 잘 이해가 가지 않는다면 댓글 남겨주세요. 잘 설명한다고 했는데 누군가에는 이해가 와닿지 않을 수도 있어서 이에 대한 적극 질문 환영입니다.)

 

이렇게 [1.판별자 모델 학습 ➡️ 2. GAN 모델 전체 학습(생성자 모델 학습)] 하는 일련의 과정을 계속적으로 반복하게 되면 우리가 원했던 GAN 모델이 진짜 이미지와 매우 비슷한 가짜 이미지를 생성해낼 수 있게 된다. 이를 도식화 하면 아래와 같다.

 

1,2번을 하나의 과정으로 게속 반복하여 학습

 

지금까지 GAN의 학습 방법을 이론적으로 모두 살펴보았다. 이제 코드로 구현해보도록 하자. 코드는 역시 Pytorch로 구현하였다. 여기를 참조해보도록 하자.

4. GAN의 한계점

위에서 코드로 구현한 GAN을 손글씨 MNIST 데이터에 대해서 적용해보았다. 아래 그래프는 GAN 모델의 Loss 그래프이다.

 

Epoch 1 ~ 200까지의 GAN Loss 그래프

 

생성자의 손실 함수가 Epoch가 약 30회일 때 매우 최저점을 찍다가 Epoch가 늘어날수록 Loss 값이 증가하는 것을 볼 수 있다. 즉, 생성자의 손실 함수가 학습이 진행될수록 불안정한 상태를 보이게 된다. 하지만 Epoch 횟수가 거듭될수록 GAN의 생성자가 생성해내는 이미지의 샘플들은 아래와 같다.

 

Epoch 1 ~ 200 학습 동안 생성자가 생성하는 가짜 이미지의 퀄리티 예시

4-1. Oscillation : 진동하는 손실

첫번째 문제는 생성자와 판별자의 손실함수가 큰 폭으로 높아졌다 낮아졌다 하는 진동하는 현상이다. 실제로 GAN을 여러번 Epoch를 돌렸을 때의 손실함수 그래프를 보면 아래와 같다.

 

출처 : https://www.oreilly.com/library/view/generative-deep-learning/9781492041931/ch04.html

 

물론 학습 방식이 미니배치 형식이기 때문에 어느 정도의 진동 현상은 있을 수 있다. 하지만 위처럼 큰 폭의 진동은 미니배치 형식의 학습 때문이 아닌 모델 자체가 학습이 잘 안되는 것으로 봐야한다.

4-2. Model collapse : 모드 붕괴

판별자가 강력하지 않으면 생성자가 판별자를 속이는 소수의 데이터만을 사용해서 판별자를 야매(?)로 속이는 방법만을 찾게된다. 즉, 정말로 생성자의 전반적인 능력이 뛰어나서 판별자를 속이는 것이 아니라 소수의 데이터만 사용해서 판별자의 특정 약점만 공략해서 속여버리는 것이다. 이러한 현상을 모드 붕괴라고 한다. 

 

예를 들어보자. 판별자를 학습시킨 뒤 생성자를 학습시키는 차례라고 해보자. 이 때 생성자는 판별자를 항상 쉽게 속일 수 있는 하나의 샘플(이를 '모드(Mode)'라고 함)을 찾게 되고, 생성자의 입력으로 들어가는 잠재 공간 벡터를 모두 해당 샘플에 매핑하게 된다. 이렇게 되면 생성자는 어쨌건 비록 생성자가 만들어낸 데이터의 전반적인 퀄리티가 좋지 않음에도 "판별자를 속였다"라는 목표는 달성하게 되므로 손실 값이 0에 가까워지고, 이에 따라 파라미터의 변화량(Gradient)도 결국 0에 수렴하게 된다. 이러한 현상을 "변화량이 0에 가까워져 무너진다(collapse)"라고 표현하기도 한다. 

4-3. 현재 GAN 손실함수는 사람을 헷갈리게 한다

기본적으로 딥러닝 모델은 손실 함수라는 것을 목표로 두고 이 손실 함수 값이 최소화되도록 학습이 된다. 이 말은 생성자는 자신이 생성하는 이미지의 퀄리티를 측정할 때 자신의 손실함수 값을 보면서 판단한다는 의미이다. 하지만 생성자는 판별자에 의해서만 평가가 된다. 그리고 판별자는 계속 판별 능력이 향상되기 때문에 학습 과정에서 다른 지점(이후의 iteration 또는 Epoch 지점)에서 평가된 생성자의 손실 값을 비교할 수 없게 된다. 실제로 모델 학습이 진행될수록 생성하는 이미지 품질은 좋아짐에도 생정자의 손실함수 값 자체는 증가하는 경향을 보인다. 다시 말해, 이미지의 퀄리티에 맞게 손실함수값 매핑이 잘 안된다는 것이다. 이러한 현상은 모델을 학습시키는 사람 입장에서 모델이 잘 학습되고 있는지 아닌지 판단하기 위해 손실 함수 값을 보고 판단하는데, 오해를 불러일으키기 쉽다는 것이다.

4-4. 하이퍼파라미터

딥러닝 모델에서 하이퍼파라미터는 학습률, 모델의 레이어 구조, 뉴런 개수 등 다양한 하이퍼파라미터가 존재한다. GAN은 이러한 하이퍼파라미터에 따라 성능이 쉽게 좌지우지된다. 따라서 수많은 하이퍼파라미터 조합을 찾는 일이 매우 어려워진다.

 

이렇게 GAN의 다양한 한계점을 알아보았다. 특히 이제 이를 해결할 수 있는 와서스테인 GAN(Wasserstein GAN, WGAN)과 와서스테인 GAN-그래디언트 패널티(Wasserstein GAN-Gradient Penalty, WGAN-GP)에 대해 알아보도록 하자. 특히 이 2개 중 후자는 오늘날 매우 복잡한 GAN을 학습시키는 데 최선의 방법으로 채택된다.

5. 생성자의 손실에 생성된 이미지의 품질을 연결시켜주자: Wasserstein 손실

와서스테인 GAN은 크게 2가지 항목을 개선하였다. 첫번째로는 생성자가 계산되는 손실에 생성자가 생성한 데이터들의 품질 정도를 반영시켜줌으로써 새로운 손실함수를 정의한다. 두번째는 모델의 파라미터 최적화 과정의 안정성을 향상시킨 것이다.

 

우선 와서스테인 손실을 보기전에 우리가 위에서 배웠던 일반적인 GAN(DCGAN)의 손실함수인 이진 크로스 엔트로피 손실을 살펴보자.

 

이진 크로스 엔트로피 손실 함수

 

이진 크로스 엔트로피 함수는 워낙 많이 보신 분들이 많을 것 같아 자세한 설명은 생략하겠다. 위 수식의 annotation이 뭘 의미하는지도 적어놓았다. 그러면 이제 위 수식을 머리에 두고 GAN의 손실함수를 살펴보자. 우선 GAN의 판별자 모델의 손실 수식이다. 위의 Binary Cross-entropy 손실 함수 수식에서 $y_i = 1$을 대입했을 경우에 아래 수식이 된다. 그리고 이 수식을 최소화하는 것이 판별자의 학습 목표이다.

 

판별자 모델의 손실 수식

 

이제 생성자 모델의 손실 수식을 살펴보자. 이번엔 Binary Cross-entropy 손실 함수 수식에서 $y_i = 0$을 대입했을 경우에 아래 수식이 된다. 이 수식 또한 최소화하는 것이 생성자의 목표이다.

 

생성자 모델의 손실 수식

 

그래서 위 2개의 손실함수를 합치게 되면 아래처럼 GAN의 손실함수를 한번에 쓸 수 있다.(생성자는 minimize, 판별자는 maximize 라는 점에 주의)

 

손실함수 2개를 합치고 생성자는 최소화, 판별자는 최대화 하도록 수식을 수정하면 위처럼 된다

 

이제 일반적인 GAN의 손실함수에 대해서 알아보았으니 다음은 와서스테인 손실에 대해 알아보자. 우선 와서스테이션 손실은 $y_i$ 값에 0과 1을 넣는 것 대신에 1 또는 -1을 사용한다. 또한 판별자 모델의 마지막 층에 있는 (이진 분류의 대표적 활성함수인) 시그모이드 함수를 제거하여 판별자 모델의 예측값 범위가 0 ~ 1 사이로 국한되지 않고 -∞ ~ +∞ 범위의 어떤 숫자도 올 수 있도록 한다. 그래서 이러한 이유 때문에 논문에서는 WGAN의 판별자 모델을 비평자(critic) 이라고도 부른다. 따라서 와서스테인 손실은 아래처럼 정의할 수 있다.

 

와서스테인 손실함수

 

이제 좀 더 세부적으로 와서스테인 손실의 판별자(비평자) 모델의 손실 수식을 살펴보자. 판별자는 정답 즉, $y_i = 1$ 과 $p_i = D(x_i)$를 대입하고 $y_i = -1$ 과 $p_i = D(G(z_i))$를 대입하면 된다. 그래서 수식이 아래처럼 된다.

 

와서스테인 GAN의 판별자 손실 함수 수식

 

다음은 와서스테인 손실의 생성자 모델의 손실 수식을 살펴보자. 판별자는 생성자가 만들어낸 가짜 이미지를 판별자가 예측한 확률 즉, $p_i = D(G(z_i))$를 대입하고 $y_i = 1$을 대입한다. 그렇게 하면 손실함수 수식은 아래와 같아진다.

 

와서스테인 GAN의 생성사 손실 함수 수식

 

이렇게 해서 와서스테인 손실함수를 완성할 수 있다.

5-1. 판별자(=비평자)의 와서스테인 손실함수에 제약을 가하자: 립시츠 제약

바로 직전에 알아본 와서스테인 손실함수로 새롭게 손실함수를 정의하면서 큰 변화점이 있었다. 바로 판별자 모델의 마지막 레이어에 시그모이드 활성함수를 걷어냄으로써 판별자 모델의 출력값이 -∞ ~ +∞ 범위로 어떤 숫자도 출력할 수 있도록 되었다. 하지만 일반적으로 신경망 모델에서는 출력값이 매우 크거나 매우 작은 값들은 피하는 것이 좋다. 따라서 WGAN에서는 판별자를 1-립시츠 연속 함수(1-Lipschiz continuous function)로 만듦으로써 제약을 가한다.

 

그렇다면 1-립시츠 연속 함수가 무엇일까? 우선 1-립시츠 제약이라는 것을 알아보자. 아래 수식에서 $D$ 함수는 판별자 모델이다. 그리고 두 임의의 입력 이미지 $x_1, x_2$에 대해 아래 부등식을 만족하게 되면 $D$ 함수를 1-립시츠라고 부른다.

 

판별자에서 1-립시츠

 

그런데 위 수식의 생김새랑 약간 유사한 다른 수식을 본적이 있는 것 같다. 바로 수치 미분을 구하는 식이다. 미분 수식은 아래와 같다.(아래 수치 미분은 전방 차분의 방식을 이용한 수치 미분 식이다. 후방, 중앙 차분의 방식을 사용한 수치 미분식을 사용해도 생김새가 비슷한 것을 알 수 있다)

$${\operatorname{d}\!f(x)\over\operatorname{d}\!x} = \lim_{h \to 0}\frac{f(x+h)-f(x)}{(x+h)-x} = \lim_{h \to 0}\frac{f(x+h)-f(x)}{h}$$

따라서 1-립시츠 제약 부등식에서 $x1 - x2$는 두 이미지의 픽셀의 평균 값의 절댓값 차이이고, $D(x_{1}) - D(x_{2})$는 판별자 모델의 예측 값 간의 절댓값 차이이다. 그리고 위 수식이 수치 미분 즉, 변화율을 구하는 식과 동일하다라는 것으로 보게 되면 1-립시츠 제약 부등식의 의미는 두 이미지 사이에서 판별자 모델의 예측 값이 변화할 수 있는 비율을 1 이하 값으로 제한한다는 것이다.

 

립시츠 제약과 와서스테인 손실함수에 대해 좀 더 수학적으로 깊이 들어가되 이해를 직관적으로 하고 싶다면 조너선 후이의 블로그를 참조해보도록 하자.

5-2. 가중치 클리핑(Weight Clipping)

위에서 립시츠 제약이 변화율을 제약시키는 것이라는 걸 이해했을 것이다. 이를 하기 위해서는 가중치 클리핑이라는 것을 주로 사용한다.(* Gradient Clipping이 아님에 주의. 물론 Gradient Clipping을 사용해도 가중치 클리핑이 될 것이다. 두 개의 차이점은 기울기 값을 클리핑하여 가중치를 제한하냐, 가중치 자체를 클리핑하여 가중치를 제한하냐의 동작 차이점이 있다.) 

 

WGAN에서는 판별자 모델의 가중치 값이 -0.01 ~ 0.01 사이에 놓이도록 가중치 클리핑을 통해 립시츠 제약을 부과하도록 한다. 

 

이렇게 WGAN에서 사용되는 다양한 기법들에 대해 알아보았다. WGAN 작동의 핵심은 와서스테인 손실함수를 사용하면서 생성자가 정확히 업데이트되도록 판별자를 학습하여 수렴시키도록 하는 것이다. 일반적인 GAN은 기울기 감소 문제를 막기 위해 판별자의 성능이 너무 강해지지 않도록 조절한다는 측면에서 WGAN과는 다르다. WGAN은 생성자가 잘 학습되도록 하면서 판별자를 더 강하게 키우지만 GAN은 판별자의 성능이 너무 좋아지지 않도록 조절해야 한다. 이렇게 WGAN은 판별자와 생성자의 학습 균형을 맞추도록 한다. 일반적으로 생성자를 한 번 학습시킬 때 판별자를 5번 학습시키도록 한다. WGAN의 개선 과정을 정리하면 다음과 같다.

 

1. 와서스테인 손실 함수를 사용
2. 진짜 이미지에는 레이블 1을, 가짜 이미지에는 레이블 -1을 사용해 학습
3. 판별자의 마지막 레이어에는 시그모이드 활성함수를 걷어내기
4. 매 학습 시 판별자의 기울기를 클리핑
5. 생성자를 한 번 학습할 때, 판별자는 5번 학습을 진행

와서스테인 손실함수와 립시츠 제약을 위한 가중치 클리핑이 적용된 WGAN 학습 코드는 여기에서 확인할 수 있다. 참고로 WGAN에서는 일반적인 GAN 보다 더 작은 학습률을 사용하는 경우가 많다고 한다.

 

하지만 이러한 WGAN도 단점이 존재하는데, 바로 립시즈 체약을 두기 위해서 판별자의 가중치를 너무 자주 클리핑하는 것 때문에 학습 속도가 크게 감소한다는 점이다. 실제로 WGAN 논문의 저자도 직접적으로 립시츠 제약을 두기 위해 가중치 클리핑을 하는 것이 나쁜 방법이라고 이야기한다. 하지만 그렇다고 판별자의 가중치 클리핑을 포기할 수는 없다. 왜냐하면 WGAN에서는 판별자의 좋은 성능이 성공의 핵심이고 판별자의 정확한 기울기 값이 아니라면 생성자가 더 좋은 샘플을 만들기 위해 기울기 값을 어떻게 바꾸어야 할지 학습할 수 없게 되기 때문이다.

 

그래서 가중치 클리핑을 사용하지 않고 다른 방법을 사용해서 립시츠 제약을 두는 방법이 등장하게 되었는데 그것이 바로 WGAN-GP이다.

6. 기울기 패널티(Gradient Penalty) 항을 손실함수에 추가하자: WGAN-GP

WGAN-GP는 가중치 클리핑을 사용하지 않고 립시츠 제약을 두기 위해서 손실함수에 기울기 패널티 항을 추가한다. 단, 이러한 기울기 패널티 항을 생성자가 아닌 판별자의 손실함수에만 적용해야 한다. 그래서 바로 위에서 배운 WGAN과 다른 점들은 아래와 같다.

 

• 판별자 모델의 손실 함수에 기울기 패널티 항을 포함
• 판별자 모델의 기울기를 클리핑하지 않음
• 판별자 모델에 배치 정규화 층을 사용하지 않음

그러면 이제 구체적으로 판별자 모델에 기울기 패널티 항을 추가하는 방법에 대해 알아보자. 기본적으로 판별자 모델 기울기의 L2 Norm이 1에서 크게 벗어날 때 모델에 패널티를 부과하는 항을 손실함수에 포함시킨다. WGAN-GP의 판별자 모델의 학습 과정을 도식화해보면 아래와 같다.

 

WGAN-GP의 판별자 학습 과정

 

WGAN-GP의 판별자 모델은 2개의 손실 함수와 하나의 패널티 항(Scalar 값)로 구성된다. 먼저 2개의 손실함수는 진짜 이미지와 가짜 이미지 각각에 대한 와서스테인 손실 2개이다. 그리고 하나의 패널티항은 진짜 이미지와 가짜 이미지 각 일부 특성을 합쳐놓은 일명 '보간된 이미지'를 판별자의 모델에 넣어 예측한 후 얻게 되는 기울기를 활용한 그레디언트 패널티 항이다. 이 때, 기울기 패널티 항을 계산하는 식은 보간된 이미지에 대한 예측의 기울기 L2 Norm과 1 사이의 차이를 제곱(${({{L2\ Norm}_{gradient}} - 1})^2$)한 것이다. 그레디언트 패널티 항을 계산하는 구체적인 수식은 아래와 같다.(pytorch 코드를 기반으로 작성하였다)

 

 

판별자 모델은 위와 같은 Scalar 형태의 그레디언트 패널티 항을 최소화하는 가중치를 찾으려고 학습하게 되고 이것이 결국 립시츠 제약을 따르도록 만든다.

 

하지만 기울기 패널티 항을 계산할 때 모든 가중치의 기울기를 계산하는 것은 너무 연산량이 많게 된다. 따라서 WGAN-GP는 일부 지점에서만 기울기를 계산한다. 

 

그리고 위 그림에서 '보간된 이미지'에 대해서도 약간 낯설게 느껴질 수 있다. 말 그대로 보간된 이미지는 진짜 이미지와 가짜 이미지의 일부 특성만 가져와 합친 것인데, 이미지 데이터를 사람의 눈으로 직관적으로 볼 수 있는 2차원 선의 형태로 변환시켰다고 가정해보자. 그럴 때, 보간된 이미지는 아래와 같이 만들게 된다.

 

보간된 이미지를 만드는 것을 2차원 선 형태로 나타낸 그림

 

마지막으로 WGAN-GP에서는 판별자 모델을 구성하는 레이어에 배치 정규화 레이어를 포함시키지 않는다. 왜냐하면 배치 정규화 레이어는 같은 배치 안의 이미지 사이에 상관관계를 만들기 때문에 기울기 패널티 손실의 효과가 떨어지기 때문이다. 실제로 WGAN-GP에서 판별자 모델의 구조에서 배치 정규화 레이어들 모두 제외시키더라도 훌륭한 퀄리티의 가짜 이미지를 생성하는 것을 볼 수 있다.

 

끝으로 WGAN-GP를 구현한 코드는 여기서 확인해볼 수 있다. 

---

이렇게 까지 해서 GAN의 기본적인 이론을 이해하고 코드로 구현해보았다. 더 나아가 GAN의 한계점을 극복하는 WGAN, WGAN-GP에 대해 알아보고 코드 구현까지 해보았다. 다음 목차부터는 지금까지 배운 생성 모델링 이론들을 가지고 응용하여 특정한 작업에 응용해보는 방법에 대해 배워보자.