[GenAI] 원본은 유지하되 스타일만 다르게 하기: CycleGAN, Style Transfer

🔊 해당 포스팅은  OREILLY의 '미술관에 GAN 딥러닝 실전 프로젝트' 서적을 읽고 개인적인 목적 하에 작성되는 글입니다. 포스팅에 사용되는 모든 자료는 제가 직접 재구성하였음을 알립니다.

 

출처: Yes24

---

이번 포스팅에서는 그동안 배워온 기초적인 생성 모델링 기법을 활용해서 그리기 작업을 적용해보도록 하자. 여기서 '그리기'란 원본 데이터는 유지하되 약간 스타일만 다르게 하여 가짜 데이터를 생성하는 것을 의미한다. 대표적인 예시로는 스타일 트렌스퍼 작업이 있다. 예를 들어, 피카소 그림이 원본이지만 반 고흐가 해당 그림을 그렸을 때의 새로운 그림을 생성하는 것이다.

 

Style Transfer 예시(출처 : https://towardsdatascience.com/light-on-math-machine-learning-intuitive-guide-to-neural-style-transfer-ef88e46697ee)

 

 

스타일 트랜스퍼는 입력되는 이미지에 내재된 분포를 모델링하는 것이 아니라 즉, 기존에 배웠던 GAN 모델처럼 원본 이미지랑 비슷한 이미지를 생성하는 것이 아니라 입력된 이미지에서 스타일을 결정하는 요소만 추출하는 것이다. 그리고 이 추출된 요소들을 다른 이미지(이를 베이스 이미지라 함)에 주입하는 것이다.  위 그림에서 스티브 잡스가 나와있는 사진을 예시로 들어보면 아래와 같다.

 

Style Transfer 동작 예시

 

따라서 스타일 트랜스퍼는 입력된 이미지들에 적용된 스타일을 학습하는 것이 목표이다. 그래서 원본 작품을 유지하면서 다른 작품의 스타일 기교로 완성하는 듯한 효과를 보여주는 것이 목표이다. 해당 포스팅에서는 대표적인 스타일 트랜스퍼 모델로서 CycleGAN 과 Neural Style Transfer 모델에 대해 소개하고, 이를 pytorch로 구현해보도록 하자.

1. 2개의 생성자와 2개의 판별자로 구성된 GAN : CycleGAN 

CycleGAN 모델은 스타일 트랜스퍼 분야에서 큰 진전을 이루어 낸 것으로 평가받는다. CycleGAN이 등장하기 이전의 pix2pix 같은 모델에서는 반드시 학습 데이터셋에 소스와 타깃 도메인의 쌍(pair) 데이터가 모두 존재해야 했다. 예를 들어, 특정 인물의 흑백 사진과 컬러 사진이 있다면 각각이 소스와 타깃이 된다. 다른 예시로는 특정 지역의 지도 사진과 위성 사진이 있다면 이 각각이 소스와 타깃이 된다. 하지만 이렇게 소스와 타깃이 모두 존재하는 케이스는 흔하지 않다. 예를 들어, 뭉크의 절규라는 그림 작품이 있다고 하자. 이 그림은 뭉크가 그린 것 밖에 없다. 즉, 피카소 또는 고흐와 같은 다른 예술가들이 그린 절규라는 그림은 세상에 없다는 것이다. 이렇게 세상에 존재하지 않는 그림들은 pix2pix에서 {소스 - 타깃} 쌍의 데이터를 만들지 못하는 한계점이 존재한다.

 

하지만 CycleGAN은 소스와 타깃 쌍의 데이터가 없어도 모델을 학습할 수 있다는 것을 선보였다. CycleGAN은 [소스 ➡️ 타깃] 그리고 [타깃 ➡️ 소스] 양방향으로 모두 동시에 학습을 한다. 이제 CycleGAN에 대해서 좀 더 자세히 알아보자.

 

CycleGAN은 4개의 모델로 구성된다. 2개의 생성자 모델과 2개의 판별자 모델이다. 2개의 생성자 모델은 2개의 도메인에서 서로 변환하는 모델이다. 그리고 판별자는 생성자가 변환한 이미지가 정말 품질이 좋은 이미지인지 아닌지 잘 판단하도록 학습한다. 말로 해서는 잘 이해가 안될 수도 있으니 간단한 도식화를 통해 알아보자.

 

CycleGAN은 총 4개의 모델로 구성되어 있다

 

이제 CycleGAN을 구성하는 생성자와 판별자 모델을 구축해보자.

2. 생성자 모델 만들기 : U-Net

CycleGAN에서 생성자 모델은 (여기에서는) U-Net과 ResNet 두 모델 중 하나를 선택해 구현한다. pix2pix 논문에서는 U-Net 구조를 사용했지만 CycleGAN 모델에서는 ResNet을 선택했다. 책에서는 두 모델 모두 코드로 구현하는 법을 소개한다. ResNet에서는 예전 포스팅에서 다룬 적이 있기 때문에 여기에서는 U-Net 모델에서만 다루도록 하겠다.

 

U-Net 모델은 말 그대로 알파벳 대문자 U 모양을 갖추고 있어서 그렇다. U-Net 모델 구조를 보자.

 

출처 : https://arxiv.org/pdf/1505.04597.pdf

 

AE, VAE 와 비슷한 방식대로 U-Net은 다운샘플링과 업샘플링으로 구성된다. 여기서 다운샘플링은 입력된 이미지를 공간 방향 즉, 높이와 너비 방향으로 압축하지만 채널 방향으로는 확장을 한다.(그래서 다운샘플링 시 채널 수(필터 수)가 늘어남) 반면에 업샘플링은 공간 방향 즉, 높이와 너비 방향으로 표현을 확장시키지만 채널 방향으로는 압축한다. 

 

AE, VAE와의 차이점이 있다고 한다면 U-Net에서는 skip-connection이 존재한다. 위 그림에서 회색 화살표로 되어 있는 'copy and crop' 부분이다. 즉, U-Net의 다운샘플링 과정에서 얻어진 정보를 업샘플링 과정에서도 보충해준다.

 

더 구체적으로, U-Net에서 다운샘플링 과정에서는 모델이 점점 이미지가 무엇인지를 감지한다. 이를 고수준 추상 정보를 인지한다고 하며, 여기에서는 '이미지의 스타일'을 감지하게 된다. 이는 보통 필터 수 즉, 채널 수를 확장해나감으로써 얻게 되는 이점이다. 하지만 공간 방향으로는 압축하기 때문에 이미지 속 객체들의 위치 정보는 잃어버리게 된다. 그리고 이후에 업샘플링 과정에서 다운샘플링 시에 잃어버렸던 위치 정보를 다시 회복시킨다. 이 과정에서 다운 샘플링 시에 얻었던 고수준의 정보 즉, 이미지의 스타일을 업샘플링 시에 다시 회복하는 공간 정보와 함께 섞는다. 

 

U-Net을 구현하다보면 Instance Normalization 기법에 대해서 등장한다. 기존에 우리는 Batch Normalization 이라는 것은 사용해보았는데, Instance Normalization에 대해서는 처음 들어보았다. 이에 대해서 잠시 알아보자. U-Net은 Batch Normalization 대신 Instance Normalization 을 사용하는데, 결론부터 말하면 Instance 기법이 스타일 트랜스퍼 분야에서 Batch 기법보다 더 퀄리티 높은 결과를 낸다고 알려져 있다. 

 

Instance 기법은 Batch와 달리 배치 단위가 아니라 배치 내의 각 개별 샘플(여기서는 이미지 샘플 하나)을 각각 정규화한다. 우선 각 기법을 비교하는 유명한 도식화 구조를 살펴보자.

 

 

위 의미지는 이미지의 높이와 너비(H,W)를 하나의 축으로 합쳐서 3차원으로 보여준 그림이다. 왜냐하면 배치 사이즈(N), 채널 수(C), 높이(H), 너비(W)까지 각 축으로 한 번에 그림으로 표시하려면 4차원으로 구현해야 하는데, 3차원 보다 높은 차원의 그림은 사람의 눈으로 표현할 수 없기 때문이다. 하지만 필자도.. 위 그림을 보고 직관적으로는 잘 이해되지 않았다. 그러면 우리의 방식대로 다시 이해해보자! 

 

그림의 원본 출처 : https://twitter.com/Xu_Cao_/status/1054634647945015296

 

U-Net으로 구현된 생성자를 만드는 코드는 여기를 참조하자. 그리고 생성자를 Residual Network를 구성해서도 만들 수 있다. Residual Network는 예전 포스팅에서 다룬적이 있으므로 여기에서는 이론적인 내용을 따로 소개하지 않겠다. ResNet으로 구현된 생성자 코드는 여기를 참조하자. 참고로 데이터셋은 오렌지와 사과 데이터를 사용하였다.

3. 하나의 숫자가 아닌 각 패치를 예측하자 : 판별자 모델 만들기

다음으로는 판별자 모델을 구현해보도록 하자. 우리가 지금까지 배웠던 생성 모델링의 판별자 모델들은 하나의 숫자인 스칼라 값 형태로 예측해 왔다. 하지만 CycleGAN의 판별자는 하나의 숫자가 아니라 (논문에서는) 16 x 16 형상의 채널 1개(shape: (1, 16, 16))를 가진 텐서를 예측하는 것이다. 물론 텐서를 구성하는 숫자값은 0 ~ 1 사이의 확률 값으로 구성되는 것은 동일하다. 다시 말해 판별자가 예측하는 텐서의 형상이 1차원에서 3차원으로 변환된 것이다. 스칼라 값 형태로 예측하는 것을 이미지 전체에 대해 예측하는 것으로 본다면, CycleGAN은 이미지 전체에 대해 예측하는 것이 아니라 중첩된 패치(Patch)로 나누어서 각 패치가 진짜인지 가짜인이 예측하는 것이다. 

 

빨간색 네모칸 하나씩 즉, 1개의 Patch를 예측하는 것으로 바뀐 셈

 

그렇다면 이렇게 각 패치로 예측하는 구조를 갖는 것은 원래 PatchGAN이라는 모델의 특성을 이용하는 것이다. 이 특성을 이용함으로써 얻는 장점은 이미지 내용이 아니라 스타일을 기반으로 판별자가 이미지를 얼마나 잘 구별하는지 손실함수가 측정할 수 있다는 것이다. 우리는 현재 포스팅에서 배우려고 하는 것은 입력 이미지와 비슷한 이미지를 생성하는 것이 아니라 입력 이미지의 스타일을 다르게 바꾸기 위한 것임을 명심하자. 

 

판별자를 만드는 코드는 여기, 그리고 CycleGAN을 학습하는 코드는 여기를 참조하도록 하자. 코드로 살펴보면 어떤 방식으로 동작되는지 명확히 파악할 수 있을 것이다.

4. 학습 데이터를 사용하지 않고 스타일만 변환시키기 : Neural Style Transfer

이제 스타일 트랜스퍼의 또 다른 모델로 뉴럴 스타일 트랜스퍼에 대해서 알아보도록 하자. 뉴럴 스타일 트랜스퍼가 위에서 배운 CycleGAN과 다른 가장 큰 차이점은 학습 데이터를 사용하지 않았다는 것이다. 이게 대체 무슨 말일까? 모델인데 학습 데이터셋을 사용하지 않았다니? 

 

우선 앞서 배운 CycleGAN 모델은 도메인이 다른 데이터 2개가 꼭 필요하였다. 예를 들어 사과 이미지를 오렌지 이미지로 바꾸고 싶은 CycleGAN 모델을 만들고 싶다고 했다면 사과, 오렌지 이미지 데이터셋 2개가 필요하였고 이를 모델에 학습 데이터로 주입시켰다. 하지만 뉴럴 스타일 트랜스퍼는 학습 데이터를 모델에 주입시키지 않고도 몇 가지 기법만 활용해서 원하는 스타일이 반영된 이미지를 만들 수 있는 것이 가능하다. 이제 뉴럴 스타일 트랜스퍼가 활용한 "몇 가지 기법"에 대해서 하나씩 알아보도록 하자.

 

실제로 뉴럴 스타일 트랜스퍼로 생성한 합성 이미지

5. 세 종류의 손실함수를 만들자 : 컨텐츠 손실, 스타일 손실, 총 변위 손실(Total variation Loss)

뉴럴 스타일 트랜스퍼에서는 총 3가지의 새로운 손실함수를 정의한다. 바로 컨텐츠 손실, 스타일 손실, 총 변위 손실이라는 것이다. 그리고 이 3가지 손실함수에 대한 가중치 합을 기반으로 하여 합성 이미지에 대해 경사하강법을 수행해서 합성 이미지를 발전시킨다. 뉴럴 스타일 트랜스퍼의 학습 단계를 절차화시키면 아래와 같다.

 

1. 베이스 이미지를 복사 붙여넣기 해서 합성된 이미지를 생성(고로, 최초에는 베이스 이미지 = 합성된 이미지)
2. 세 가지 손실 함수를 계산
3. 손실 함수를 기반으로 경사 하강법(Gradient Descent)을 이용해서 기울기 변화량 계산
4. 기울기 변화량을 기반으로 합성된 이미지 업데이트

위 단계에서 2번 단계부터 살펴보자. 2번 단계에서는 3가지 손실함수를 알아야 하는데, 하나씩 알아보도록 하자.

5-1. 합성된 이미지가 베이스 이미지가 갖는 컨텐츠를 동일하게 갖도록 하자 : 컨텐츠 손실

콘텐츠 손실은 콘텐츠의 내용과 전반적인 사물의 배치 측면에서 베이스 이미지와 합성된 이미지 간에 얼마나 다른지를 측정한다. 여기서 주의할 점은 동일한 위치의 픽셀 값을 비교하는 것만으로는 학습이 불가하다는 것이다. 단적인 예로, 아래처럼 동일하게 에펠탑 객체를 이미지에 담고 있지만, 촬영 각도나 빛과 같은 요소들에 의해 조금씩 다른 사진들이 있다.

 

에펠탑이라는 동일한 물체를 담고 있지만, 촬영 각도나 빛에 의해 사진이 조금씩 달라짐

 

위 두 이미지를 비교해보았을 때, 에펠탑이라는 물체를 동일하게 담고 있다. 사람이 보기에는 두 이미지가 동일한 물체를 담고 있다라는 것을 알기 때문에 사람의 눈으로 콘텐츠 손실을 계산한다고 하면 손실 값을 낮게 계산할 수 있을 것이다. 하지만 만약 컴퓨터가 콘텐츠 손실을 계산한다고 하고, 심지어 계산 기준을 동일한 위치의 픽셀 값만을 기준으로 하게 된다고 한다면 컨텐츠 손실 값은 다소 높게 나올 것이다. 왜냐하면 위 두 이미지만 보더라도 에펠탑의 위치가 다르며, 심지어 오른쪽 사진은 약간 태양 빛으로 인해 붉으스름한 노을 빛도 픽셀에 반영되어 있기 때문이다.

 

따라서 콘텐츠 손실을 계산할 때는 개별 픽셀값과 무관해야 한다. 다시 말해, 고차원 특성의 존재(위 예시에서는 에펠탑)와 대략적인 위치를 기반으로 콘텐츠 손실을 점수화시켜야 한다. 이를 반영하기 위해서는 어떻게 할까?

 

이를 반영하기 위해 우리는 이미 대규모 이미지 데이터셋으로 학습된 이른바, Pre-trained 이미지 분류 모델을 Backbone으로 사용할 수 있다. 여기서 Pre-trained 이미지 분류 모델이라고 한다면 1,400만개의 대규모 이미지 데이터셋 ImageNet을 학습한 VGG16과 같은 모델을 말한다. 이렇게 깊게 쌓은 모델, 그리고 대규모 이미지 데이터셋으로 학습된 모델은 이미지를 입력으로 넣었을 때 모델 내 깊은 레이어에서 자연스럽게 이미지 속의 고수준 특성을 파악할 수 있게 된다. 뉴럴 스타일 트랜스퍼에서는 베이스 이미지와 합성된 이미지를 VGG16과 같은 Pre-trained 모델의 입력으로 넣어 출력을 계산한 뒤, 이를 출력값을 기반으로 오차를 계산해서 콘텐츠 손실을 계산하게 된다.

 

하지만 여기서 중요한 점은 콘텐츠 손실을 계산할 때 사용하는 모델의 출력이 최종 출력 레이어로부터가 나온 것이 아닌 깊은 층의 컨볼루션 레이어를 통과한 출력 값(이른바 Feature Map)을 활용한다는 것이다. VGG16은 알다시피 여러 개의 클래스를 분류하는 Multi-class classfication 모델이기 때문에 최종 레이어에는 Softmax 레이어의 층이 담겨있다. 하지만 뉴럴 스타일 트랜스퍼에서 우리가 필요로하는 부분은 이미지가 "어떤 클래스로 분류되었는지"가 필요한 것이 아니다. 우리가 필요한 부분은 "이미지의 고수준 특성"이다. 따라서 Pre-trained 모델에 베이스 이미지와 합성된 이미지 각각을 입력으로 넣었을 때 출력값을 사용하되, 특정 1개의 깊은 층의 컨볼루션 레이어를 통과했을 때의 출력값인 Feature Map을 이용하는 것이다. 물론 여기서 어떤 깊은 층을 선택할지는 일종의 하이퍼파라미터가 되겠다.

 

이로써 베이스, 합성 이미지 각각의 Feature Map을 얻게 되고, 이 2개의 Feature Map 간의 평균 제곱 오차를 계산하게 되면 최종적인 콘텐츠 손실값이 된다. 이 계산 과정을 도식화하면 아래와 같다.

 

콘텐츠 손실을 구하는 방법. FM 기호는 Feature Map을 의미

5-2. 두 이미지 사이의 스타일 유사도를 계산하자 : 스타일 손실

위에서 알아본 콘텐츠 손실은 베이스 이미지와 합성된 이미지 간의 손실 값이였다. 이번에 알아볼 스타일 손실은 스타일 이미지와 합성된 이미지 간의 손실 값을 구하는 방식이다. 다시 말해, 스타일 이미지와 합성된 이미지간에 스타일이 얼마나 비슷한지 계산을 하는 것이다. 뉴럴 스타일 트랜스퍼 논문에서는 스타일이 비슷한 이미지들 간에는 Feature Map 사이에 동일한 상관관계 패턴을 가진다는 아이디어를 제안하면서 스타일 손실 계산 방법을 설명한다. 예를 들어서, 아래와 같이 3개의 이미지가 있고 이를 Pre-trained 모델에 넣은 후, Pre-trained 모델의 깊은 컨볼루션 층의 출력값인 Feature Map을 추출해본다고 하자.

 

3가지 필터를 사용한다고 가정

 

현재 3개의 이미지가 존재하고, 필터는 총 3개를 사용하고 있다. 초록색 풀을 감지하는 녹색 감지 필터, 하늘을 감지하는 하늘색 감지 필터, 갈색 풀을 감지하는 갈색 감지 필터가 있다. 그리고 오른쪽의 격자무늬들은 모두 Feature Map의 각 필터를 의미한다. 

 

먼저 이미지 A, B는 딱봐도 비슷한 이미지이기 때문에 Feature Map의 특성을 보면 매우 비슷한 것도 알 수 있다. 반면에 이미지 C는 A, B와 Feature Map이 다름을 알 수 있다. 이렇게 두 개의 Feature Map 간에 동시에 활성화되는 부분을 수치적으로 측정하려면 위처럼 Feature Map 간에 스칼라 곱(scalar product = dot product)을 수행한 후, 계산된 값이 크면 두 Feature Map 간에 상관관계가 크고, 값이 작으면 상관관계도 작다라고 할 수 있다. 이렇게 계산된 행렬 값을 그람 행렬(Gram matrix)라고 부른다. 

 

실제로 간단하게 넘파이를 활용해서 Feature Map 3개가 있다고 가정해보고, 이에 대한 그람 행렬을 구해보면 아래처럼 구해질 수 있다.

 

import numpy as np

a = [[1000, 900, 1],
     [90, 1000, 1],
     [1, 1, 1000]]
b = [[1000, 900, 1],
     [900, 1000, 5],
     [1, 5, 100]]
c = [[1000, 1, 1],
     [1, 1000, 900],
     [1, 900, 1000]]
a, b, c = np.array(a), np.array(b), np.array(c)

a_b_scalar = np.dot(a, b)
a_c_scalar = np.dot(a, c)
b_c_scalar = np.dot(b, c)

print(a_b_scalar)
print()
print(b_c_scalar)
print()
print(a_c_scalar)

결과값

 

결과값을 차례대로 살펴보면 Feature Map이 비슷한 A, B 이미지 간의 그람 행렬 값을 보면 동시에 활성화되는 부분 값이 상대적으로 매우 큼을 알 수 있다. 반면에 B, C 간의 그람 행렬 또는 A, C 간의 그람 행렬을 보면 상대적으로 값이 적은 것을 볼 수 있다. 이는 곧 A, B 이미지 간에는 상관관계가 크지만 C는 이미지 A, B와 상관관계가 없다는 것을 의미한다.

(위에서는 서로 다른 Feature Map 자체를 곱하는 걸로 했지만, 튜토리얼 코드에서는 각 Feature Map 행렬마다 2차원으로 reshape한 후, Transpose된 행렬과 곱해서 그람 행렬을 구하고, 서로 다른 Feature Map의 그람 행렬 간에 곱하였다. 코드로 살펴보면 이와 같다.)

 

이렇게 그람 행렬을 이용해서 스타일 손실을 계산하게 되면 콘텐츠가 많이 다르더라도 Feature Map간의 그람 행렬이 비슷할 수도 있기 때문에 스타일을 반영할 수 있게 된다. 

 

이제 그러면 스타일 손실을 계산하는 수식을 살펴보도록 하자. 콘텐츠 손실 때와 다른 점은 Pre-trained 모델에서 Feature Map을 하나가 아니라 여러 개의 깊은 컨볼루션 레이어에서 추출했다는 점이다. 이로써 다양한 Feature Map을 사용하게 되면서 스타일을 점점 더 정확하게 반영할 수 있게 된다.

 

스타일 손실 계산 수식

5-3. 픽셀을 부드럽게 해주자 : 총 변위 손실

마지막으로 배울 손실을 총 변위 손실이다. 총 변위 손실은 합성된 이미지의 픽셀을 사람 눈으로 보았을 때, 격자 무늬 형태가 아니고 부드러운 곡선 형태로 나타나도록 해주는 역할을 한다. 이름이 어려워보이지만 실질적으로 수행하는 로직은 합성된 이미지에 있는 잡음(noise)을 측정하는 것이다. 

 

좀 더 구체적인 로직은 다음과 같다. 우선 합성된 이미지를 오른쪽으로 한 픽셀 이동시킨 뒤, 이 이동시킨 이미지와 이동 시키기 전의 이미지와의 픽셀 차이 값을 제곱하여 더해준다. 이러한 동작을 합성된 이미지를 아래쪽으로 한 픽셀 이동시킨 뒤, 동일하게 수행해준다. 총 변위 손실은 말로 하는 것보다 코드로 보는 게 좀 더 직관적일 수 있다. 

6. 경사하강법을 수행해서 합성된 이미지를 업데이트!

지금까지 세 가지 종류의 손실함수 값에 대해 알아보았다. 이제 손실함수를 구했으니, 이를 기반으로 경사하강법을 수행해서 합성된 이미지를 업데이트 해 나가면 된다. 

 

이렇게 해서 뉴럴 스타일 트렌스퍼의 동작은 끝이다. 동작과정을 다시 돌이켜보면 CycleGAN 처럼 학습 데이터를 추가로 학습시키지 않고 Pre-trained 모델을 단순히 Backbone 형태로 사용하고, 손실함수 3가지를 정의하고 이를 기반으로 경사하강법을 적용하는 단계로 수행된다. 마지막으로 뉴럴 스타일 트랜스퍼의 구체적인 동작을 절차화하면서 마무리해보자.

 

1. 베이스 이미지와 동일하게 합성 이미지를 생성(단순히 그냥 복사 붙여넣기 함)
2. Pre-trained 모델 하나를 Backbone 모델로 선정(VGG16 같은 모델 중 하나)하고 해당 모델에 이미지들을 입력시키기
3. 3가지 손실 함수를 정의(콘텐츠 손실, 스타일 손실, 총 변위 손실)하고 손실 함수 값들을 Weighted Sum
4. Weighted Sum 된 최종 손실값을 기반으로 경사 하강법을 수행하면서 합성된 이미지 업데이트

 

추가로 뉴럴 스타일 트랜스퍼를 학습하는 코드는 여기있다. 물론 필자의 코드도 참고해도 되지만 Pytorch 튜토리얼에서도 매우 친절한 가이드가 존재하여 공유한다. 튜토리얼에 있는 사진 말고 필자가 개인적으로 다른 사진으로 도전해보았다. 파라미터에 많이 민감하긴 하지만.. ㅎ 아래처럼 피카소가 에펠탑을 그린다면 아래처럼 그려질 것이다.

 

필자가 실제로 테스트 해본 뉴럴 스타일 트랜스퍼 예시, 피카소가 에펠탑을 그린다면?

---

지금까지의 내용으로 해서 생성형 모델을 활용하는 기법 중 하나인 스타일 트랜스퍼에 대해 배워보았다. 구체적인 방법론으로는 우리만의 데이터를 학습시킬 수 있는 CycleGAN 모델이 있었고, 학습 데이터를 사용하지 않고 Pre-trained 모델만을 사용하고 손실 함수값만 새롭게 정의해서 사용할 수 있는 뉴럴 스타일 트랜스퍼에 대해 배웠다. 

 

그러면 다음 포스팅부터는 이미지 기반의 생성 모델링이 아닌 텍스트 기반의 생성 모델링에 대한 배움을 시작해보도록 하자.