[GenAI] 생성 모델링(Generative AI)이란

🔊 해당 포스팅은  OREILLY의 '미술관에 GAN 딥러닝 실전 프로젝트' 서적을 읽고 개인적인 목적 하에 작성되는 글입니다. 포스팅에 사용되는 모든 자료는 제가 직접 재구성하였음을 알립니다.

 

최근 사내 스터디에서 새롭게 다룰 주제로 생성형 모델링을 선택했다. 요즘 가장 화두인 생성형 모델링에 대해서 공부를 하기 시작해야 한다는 필요성이 생겼다. 물론 거대 기업에서 오픈소스로 나오는 생성형 모델을 가져다 쓰기만 하는 목적이라면 이 책이 그렇게 도움이 되지 않을 수 있다. 왜냐하면 이 책은 오픈소스 생성형 모델의 사용법에 대한 설명이 아니기 때문이다. 하지만 머신러닝 직무로 일하는 입장으로서, 적어도 생성형 모델이 어떤 목적성을 갖고, 또 어떠한 원리로 동작하는지는 최소한 알아야 하지 않을까 한다. 그러한 이유로 해당 책으로 생성형 모델링 분야의 기초를 갈고 닦기로 선정했고, 팀 동료 분들과 함께 스터디를 진행하기로 시작했다.

 

출처: Yes24

---

첫 포스팅으로는 가볍게 생성형 모델링에 대한 기초 개념을 소개한다. 생성 모델링이 무엇이고 기존에 우리가 배워왔던 지도학습의 분류, 회귀 문제와 어떤 점이 다른 것인지에 대해 주로 다룬다. 쉬운 비유와 설명으로 생성 모델링을 이해해보도록 하자.

1. 생성 모델링 vs 판별 모델링

생성 모델은 아래와 같이 정의가 가능하다. 

확률 모델의 관점으로 보았을 때, 생성 모델은 새로운 데이터를 생성하는 방법을 기술한 것이다. 생성 모델에서 샘플링을 하여 새로운 데이터를 생성할 수 있다.

 

단적인 예로, 우리는 갖고 있는 강아지 사진 데이터셋에 없는 새로운 유형의 강아지 사진을 만들고 싶다고 가정하자. 그리고 이것은 생성형 모델로 목표를 달성할 수 있다.

 

생성형 모델의 개괄적인 순서

 

위 그림을 보자. 우리는 현재 갖고 있는 강아지 사진들을 통해 생성 모델을 학습시킨다. 그리고 생성 모델은 자신이 학습한 데이터에 랜덤한 노이즈들을 첨가하게 된다. 이렇게 학습 데이터에 랜덤한 노이즈를 첨가해서 학습하는 목적은 학습 데이터와 비슷하지만 학습 데이터에는 없는 특성을 갖는 새로운 이미지를 생성할 수 있도록 하기 위함이다. 이렇게 학습된 생성 모델로부터 샘플링하여 새로운 데이터를 생성해낸다. 이 새로운 데이터는 학습 데이터에는 존재하지 않는 새로운 데이터이다.

 

그러면 우리가 배우고 있는 생성 모델과 기존에 배워왔던 지도학습의 일종들인 분류, 회귀같은 판별 모델링과의 차이점은 무엇일까? 서로 반대되는 개념이라고 할 수 있다. 즉, 필자도 그랬지만 대부분은 개, 고양이 이미지 분류, 타이타닉 생존 예측과 같은 판별 모델링을 다루어 왔을 것이다. 그리고 역사적으로 이 판별 모델링에 대한 연구가 매우 활발히 진행되어 왔었다. 

 

판별 모델링이 생성 모델링과 다른 주요한 차이점은 학습 데이터의 각 샘플이 레이블을 가져야만 한다는 것이다. 그래서 레이블 즉, 정답을 보고 모델이 학습한다고 하여 지도 학습이라고 부른다. 또 다른 말로 하면 레이블된 데이터셋을 사용해서 입력과 출력을 매핑하는 특정 함수를 학습하는 셈이다. 반면에 생성 모델링은 레이블이 없는 데이터셋에서 수행된다. 그래서 비지도 학습이라고도 불린다. 하지만 무조건 레이블이 없는 것은 아니고 경우에 따라 특정 클래스의 샘플을 생성하는 방법을 학습하기 위해 일부 레이블된 데이터셋에 적용하는 반지도 학습이라는 것도 가능하다. 

 

이번에는 판별 모델링과 생성 모델링 간의 차이점을 수학적인 수식으로 간단하게 살펴보자. 판별 모델링은 샘플 데이터 $x$가 주어졌을 때, 레이블 $y$의 확률 $p(y | x)$를 추정하는 것이다. 반면에 생성 모델링은 샘플 데이터 $x$의 관측 확률인 $p(x)$를 추정하는 것이다. 이를 위에서 언급한 비지도 학습의 상황이라고 할 수 있다. 만약 반지도 학습의 상황이라면 특정 클래스의 레이블이 주어진 상태가 되기 때문에 $p(x|y)$를 추정하는 것이다. 

 

정리하자면, 판별 모델링은 특정 데이터 $x$가 특정 레이블 $y$에 속할 확률을 추정한다. 하지만 생성 모델링은 레이블 $y$에 관심이 없다. 단지 특정 데이터 $x$가 발견될 확률만을 추정하는 것이다.

 

하지만 이러한 생성 모델링이 장점만은 있는 것은 또 아니다. 판별 모델링에 비해서 모델의 성능을 측정하기가 어렵다. 단적인 예로, 새로운 강아지 사진을 생성해내는 생성 모델을 개발했다고 쳐보자. 그 생성 모델이 만든 새로운 강아지 사진을 보고 이 새로운 강아지 사진이 얼마나 강아지스러운지(?)를 측정할 수 있을까? 이는 사람이 주관적으로 개입해야 되기 마련이다. 그래서 요즘 화두인 ChatGPT와 같은 생성형 모델의 답변에 대해서 정확도가 90%다, 95%다 이런 식으로 절대적으로 측정하기가 불가능한 이유가 그것이다. 

 

하지만 생성형 모델은 아주 복잡한 인공지능을 개발하는 데 핵심적인 요소라고 저자는 이야기한다. 첫째로, 복잡한 인공지능을 만들기 위해서는 데이터가 생성되는 방법 자체를 이해해야 한다. 두번째로, 생성 모델은 강화학습을 발전시키는 데 매우 기여한다. 실제로, 강화학습에서 생성 모델을 이용하면 에이전트가 생성 모델을 통해 스스로 환경을 시뮬레이션할 수 있게 된다. 마지막으로는 사람의 현실 인지 능력이 판별 모델링 보다는 생성형 모델링의 개념과 더 가깝기 때문이다. 

 

우리는 판별 모델링과 비교하면서 생성형 모델링이 이론적으로 어떤 개념인지 알아보았다. 이제 다음 목차부터 생성 모델의 실질적인 개념을 학습해보도록 하자.

2. 생성 모델링 이해해보기

생성 모델링을 이해하기 위해서 간단한 예시를 들어보자. 아래 그림처럼 2차원 형태의 공간이 있고, 아래 2차원 공간에서 데이터 $x$의 집합들인 $X$(아래 파란색 포인트들의 모음)가 있다고 하자. 그리고 이 데이터들은 어떠한 규칙에 의해서 생성되었고, 이 규칙을 $p_{data}$라고 하자.

 

 

위 파란색 점 각각이 데이터 샘플 $x(x_i, x_j)$을 의미한다. 이 상태에서 우리 인간은 마음속으로 이 데이터들을 보고 어떤 규칙으로 생겨났는지 즉, 정답($p_{data}$)에 대한 추정을 할 수 있고, 이 추정을 $p_{model}$이라고 할 수 있다. 이 $p_{model}$는 우리 인간이 만들어낸 일종의 생성 모델이다. $p_{model}$을 2차원 공간에 표시한다고 하면 아래처럼 될 수 있다.

 

 

이제 우리의 생성 모델 $p_{model}$로부터 새로운 데이터를 샘플링해보자. 단, 이 샘플링될 데이터는 아래와 같은 2가지 조건을 만족해야 가장 이상적이다.

 

• $p_{data}$에서 뽑은 것 같은 데이터인 경우
• $p_{model}$이 이미 본 데이터 즉, 학습(관측)된 데이터 집합 $X$에 속한 데이터와는 다른 데이터인 경우

이제 그러면 정답인 $p_{data}$를 실제로 확인해보고, $p_{model}$이 새롭게 생성한 샘플 데이터 3개가 위 2개 조건을 만족하는지도 살펴보자.

 

 

위 그림에서 진한 회색 즉, 세계지도의 영역을 나타내는 부분이 바로 정답인 $p_{data}$이다. 그리고 연한 주황색깔의 영역은 우리의 생성 모델 $p_{model}$이 추정한 영역이고, 빨간색 포인트의 A,B,C가 생성 모델이 새롭게 생성한 샘플 데이터들이다. 하나씩 특징이 어떤지 살펴보자.

 

• A : 조건을 모두 만족한다. 정답인 $p_{data}$ 영역에서 생성되었으며, 관측된 데이터들 즉, 파란색 포인트들과 겹치지 않는 새로운 데이터이다.
• B : 파란색 포인트들과 겹치지 않은 새로운 데이터이긴 하지만, $p_{data}$ 영역에 포함되지 않는다. 생성 모델의 올바른 결과로 부적합하다.
• C : $p_{data}$ 영역에 포함되긴하지만 파란색 포인트들과 겹치는 데이터이다. 따라서 이것도 생성 모델의 올바른 결과로 부적합하다.

이것이 바로 생성 모델 원리의 큰 틀이라고 할 수 있겠다. 이제 좀 더 확률적인 개념을 이용한 확률적인 생성 모델을 알아보도록 하자.

3. 생성 모델을 확률적으로 이해하기

확률적으로 이해하기에 앞서, 확룰 관련 개념을 몇 가지 배우고 가야 한다. 누군가는 이미 충분히 익숙한 내용일 수도 있다. 하지만 기초를 다시 다진다는 생각으로 가볍게 읽어주면 좋을 듯 하다. 우리가 배워야 할 개념들은 표본 공간, 확률 밀도 함수, 모수 모델, 최대 가능도 추정이다. 하나씩 알아보자.

A. 표본 공간

표본 공간은 샘플 데이터 $x$가 존재할 수 있는 모든 값의 집합이다. 2번 목차의 예시에서는 2차원 공간 전부를 의미하겠다. 

B. 확률 밀도 함수

확률 밀도 함수 $p(x)$는 표본 공간의 임의 포인트 $x$를 0과 1사이의 숫자에 매핑해주는 함수이다. 이 말이 이해가 잘 안된다면 아래 그림을 보자.

 

 

그리고 표본 공간의 모든 포인트 $x$들에 대한 확률 밀도 함수의 합은 꼭 1이 되어야 잘 정의된 확률 분포이다. 만약 $x$가 이산적인 값이라면 $p(x)$는 단순히 포인트 $x$를 발견할 확률을 의미한다.

 

우리는 모르지만 어찌되었건 존재하는 정답의 확률 밀도 함수 $p_{data}$를 찾기 위해 추정한다. 이 추정 확률 밀도 함수를 $p_{model}$ 이라고 하며, 이 $p_{model}$은 무수히 많다. 이 많은 $p_{model}$들 중 가장 최적의 $p_{model}$을 찾기 위해 모수 모델이라는 기법을 사용하게 된다.

C. 모수 모델

모수 모델은 $p_{\theta}(x)$ 라고 정의하는데, 이는 한정된 개수의 파라미터 $\theta$를 사용해서 묘사하는 확률 밀도 함수의 한 종류를 의미한다. 2번 목차에서 알아본 예시에서 주황색 상자가 모수 모델의 예시가 되겠다. 위 예시에서 주황색 상자를 만들기 위해서는 4가지 파라미터가 필요하다. 즉, 상자의 왼쪽 위 아래 모서리 좌표(${\theta}_{1}, {\theta}_{2}$)와 오른쪽 위 아래 모서리 좌표(${\theta}_{3}, {\theta}_{4}$)가 필요한 셈이다. 그러므로 2번 목차에서의 모수 모델은 총 4개의 파라미터(${\theta}_{1}, {\theta}_{2}, {\theta}_{3}, {\theta}_{4}$)로 고유하게 표현할 수 있다.

D. 최대 가능도 추정

최대 가능도 추정을 알아보기 전에 가능도라는 개념부터 이해해야 한다. 파라미터 집합 $\theta$의 가능도 $\mathcal{L}(\theta | x)$은 샘플 포인트 $x$가 주어졌을 때 $\theta$의 알맞은 정도를 측정하는 함수이다. 그래서 다음과 같이 정의한다.

$$\mathcal{L}(\theta | x) = p_{\theta}(x)$$

이 등식이 의미하는 바는 다음과 같다. 샘플 포인트 $x$가 주어졌을 때 $\theta$의 가능도는 포인트 $x$에서 $\theta$로 정의된 확률 밀도 함수의 값으로 정의한다. 

 

그래서 샘플 포인트 $x$의 집합인 전체 데이터셋 $X$에 대한 가능도를 정의하면 아래처럼 확장시킬 수 있다.

$$\mathcal{L}(\theta | X) = {\prod_{x \in X}}{p_{\theta}(x)}$$

하지만 위 식은 모든 것을 곱하는 식이기 때문에 수학적 편의를 증진하기 위해 로그 수식을 사용해서 로그 가능도로 변환해 사용한다. 식은 아래와 같다.

$$l(\theta | X) = {\sum_{x \in X}}{log p_{\theta}}(x)$$

 

이제 모수 모델의 목적은 데이터셋 집합인 $X$가 관측될 가능도 $l$을 최대화하는 파라미터 $\theta$의 최적값을 찾는 것이다. 최대화 한다고 하여 이런 기법을 최대 가능도 추정이라고 부른다. 

 

이제 확률적인 생성 모델을 만들기 위해 필요한 수학적이 개념 이해는 모두 끝났다. 이제 본격적인 확률적 생성 모델을 이해해보도록 하자.

---

책에서도 그렇지만 한 가지 예시 상황을 들으려고 한다. 우리는 50개의 샘플 데이터셋을 받았고, 이 데이터셋은 패션 종류 조합으로 이루어진 데이터셋이다. 우리가 받은 데이터셋의 예시는 아래와 같다.

 

id	악세사리	옷색깔	옷유형	머리색깔	상의유형
0	Round	White	ShirtScoopNeck	Red	ShortHairShortFlat
1	Sunglasses	White	Overall	SilverGray	NoHair
...	...	...	...	...	...

 

id 칼럼을 제외한 나머지 칼럼들에 대한 unique한 값들의 개수는 아래와 같다.(구체적으로 어떤 값들이 있는지는 책을 참조..)

 

• 상의유형: 7가지
• 머리색깔 : 6가지
• 악세사리 : 3가지
• 옷유형 : 4가지
• 옷 색깔: 8가지

위 값들로 나올 수 있는 모든 조합은 가짓수를 모두 곱한 4,032개가 된다. 결국 표본 공간은 4,032개의 포인트가 존재하고, 표본(샘플) 데이터셋은 50개가 관측된 셈이다. 우리는 이제 이 상황에서의 $p_{data}$를 찾으려고 할 것이다. 그리고 생성 모델 $p_{model}$의 목표는 이 관측된 데이터셋 50개를 사용해서 $p_{data}$에서 생성한 또 다른 샘플을 완벽하게 흉내내는 것이다.

3-1. 발생한 만큼 나올 것이야, 단순 확률적 생성 모델

$p_{model}$을 생성하는 가장 단순한 방법은 관측된 데이터셋을 기반으로 가능한 특성의 조합마다 확률을 부여하는 것이다. 이 때 모수 모델의 파라미터 개수 $d$는 4,031개가 된다.(마지막 파라미터의 값은 $p_{model}(x)$의 합이 총 1이 되기 위해 자동으로 결정되므로 실질적으로 계산될 파라미터 개수는 4,032개에서 1개를 뺀 4,031개가 됨) 이러한 종류의 모수 모델을 우리는 다항 분포라고 하며, 이 모델의 최대 가능도 추정 값 ${\theta_{j}}$는 아래와 같이 정의할 수 있다.

$$\theta_{j} = {n_j \over N}$$

위 식에서 $n_j$는 관측된 데이터셋에서 발견된 조합 $j$의 개수를 의미한다. $N$는 관측된 데이터셋 개수 50개다. 고로, 여기서의 가능도 값(파라미터 추정값)은 특정 패션 조합이 관측된 데이터셋에 등장하는 횟수의 비율을 의미한다.

 

이렇게 모든 각 패션 조합에 대해서 가능도 $\theta_{j}$를 계산하여 표본 공간의 분포인 $p_{model}$을 추정할 수 있다. 하지만 한 가지 문제가 발생하는데, 만약 관측된 데이터셋에 없는 조합에 대해서는 가능도가 0으로 나올 것이기 때문에 $p_{model}$은 데이터를 생성할 때 관측된 데이터셋에서 존재한 적이 없는 데이터는 생성하지 못하게 된다. 

 

이 문제를 해결하기 위해 가법 평활화(라플라이산 평활화)라고 부르는 기법을 사용하는데, 이는 쉽게 말해서 가능한 모든 조합에 임의로 횟수 1을 더하는 것이다. 그래서 가능도 식을 다시 정의하면 아래와 같이 된다.

$${\theta_{j}} = {{n_j + 1} \over {N + d}}$$

위 식에서 $d$는 4,023으로 가능한 모든 조합의 개수이다. 왜냐하면 방금 가능한 모든 조합에 임의로 횟수 1을 모두 더해주었기 때문에 $1 \times 4032 = 4032$이 되는 것이다. 하지만 이런 기법만 적용한다면 관측 데이터셋에는 없는 데이터가 새롭게 생성될 확률은 여전히 매우 적다. 왜냐하면 당연히 관측 데이터셋에 없는 데이터에는 적은 가중치가 부여되었기 때문이다. 

 

이 문제를 다시 해결하기 위해 생성 모델이 관측되지 않은 데이터셋에 좀 더 가중치를 부여하면 좋겠다고 생각이 든다. 이를 주어진 데이터로부터 학습해서 수행하는 모델이 있는데, 이것이 바로 나이브 베이즈이다.

3-2. 모든 특성은 독립적이야, 나이브 베이즈

나이브 베이즈는 한 가지를 가정사항으로 삼고 들어가기 때문에 추정할 파라미터 개수를 크게 줄여준다. 이 가정사항이 무엇이냐면 바로 각 특정 $x_j$가 다른 모든 특정 $x_k$에 독립적이라고 가정하는 것이다. 예를 들어, 위 예시로는 머리 색깔을 고르는 것이 상의유형을 고르는 것에 영향을 미치지 않고, 또 악세사리를 고르는 것에 영향을 미치지 않을 것이라는 가정이다. 이를 수학적으로 정의하면 아래와 같다.

$$p(x_j | x_k) = p(x_j)$$

이를 나이브 베이즈 가정이라고 하는데, 우선 확률의 연쇄법칙을 사용해 확률 밀도 함수를 조건부 확률의 곱으로 풀어준 뒤 베이즈 가정을 적용해주면 모수 모델은 아래처럼 정의된다.

$$p(x) = \prod_{i=1}^K p(x_k)$$

이렇게 각 특성에 대해서 파라미터를 독립적으로 추정하는 문제로 축소되었고, 이를 곱해서 가능한 모든 조합에 대한 확률을 찾으면 된다. 그럼 여기서는 몇 개의 파라미터를 추정해야 할까? 각 특성이 가질 수 있는 unique한 값들에 대해 파라미터를 추정해야 하기 때문에 이 예시의 경우, $7 + 6 + 3 + 4 + 8 - 5 = 23$개의 파라미터를 추정하면 된다. 마지막에 $-5$를 한 이유는 특성이 5개인데, 각 특성마다 파라미터의 $p(x)$ 값 합을 1로 만들기 위해 마지막 파라미터가 자동으로 결정되기 떄문에 빼준 것이다.

 

따라서, 나이브 베이즈 모델을 사용할 때의 최대 가능도 추정 값 $\theta$는 다음과 같이 정의 된다.

$$\theta_{kl} = {n_{kl} \over N}$$

즉, $\theta_{kl}$은 데이터셋에서 특정 $k$가 $l$인 횟수를 의미한다. 그리고 $N$은 관측된 데이터셋 개수인 50이다. 예를 들어, $k$가 악세사리이고, $l$이 Sunglasses 일 때 $\theta_{kl}$은 관측된 데이터셋 개수 중에 악세사리가 Sunglasses인 데이터 개수 비율을 의미한다.

 

만약 나이브 베이즈를 이용해서 어떤 샘플 $x$를 생성하는 모델의 확률을 계싼하려면 개별 특성의 확률을 애처럼 곱하면 된다.

$$p(x) = p(Round, White, Overall, Red, NoHair) = p(Round)p(White)p(Overall)p(Red)p(NoHair)$$

정리해보면, 나이브 베이즈 모델은 관측된 데이터로부터 어떤 구조를 학습하고 이를 사용해서 관측 데이터셋에는 없는 새로운 샘플을 생성할 수 있게 된다. 그리고 이 모델은 각 특성값의 발견 확률이 독립적이라는 것을 전제하고 추정을 한다. 그러면 만약 이러한 가정이 성립되지 않을 때는 대체 어떤 일이 발생할까? 

4. 확률적인 생성 모델의 한계

나이브 베이즈 모델을 학습하면서 사용한 데이터셋은 5개의 피쳐 즉, 5개의 고수준 특성으로 구성되어 있었다. 그런데 만약 주어진 데이터셋이 픽셀값으로 이루어진 이미지 데이터라면, 그 때도 나이브 베이즈 모델을 사용해도 결과가 잘 나올까? 결론부터 말하면 그렇지 못하다. 왜냐하면 이미지 데이터셋은 나이브 베이즈 모델이 가정하는 사항 즉, 특성들이 서로 독립적이지 않기 때문이다. 단적인 예로, 사람 이미지 데이터를 보면 각각 구역마다 비슷한 색깔 즉, 비슷한 픽셀 값들로 이루어져 있는 것을 알 수 있다. 다시 말해, 특성(픽셀)들 간에 서로 상관관계가 크다는 것이다. 

 

 

두 번째로는 이미지 데이터의 경우 픽셀 개수가 엄청나게 많아지므로 표본 공간의 복잡도가 매우 증가했기 때문이다. 이전 예시에서는 단순히 5개의 특성만 고려하면 되었지만, 이미지 데이터의 경우, 매우 작은 이미지가 32x32, 요즘 같은 고화질 이미지는 1024x1024 하는 경우까지 허다하다. 이러한 경우에는 표본 공간의 복잡도가 엄청나게 증가하게 된다.

 

따라서 나이브 베이즈 모델이 이미지 데이터에 잘 동작하지 못하는 이유는 이와 같다. 이러한 문제를 해결하기 위해 딥러닝이 등장했다. 딥러닝은 주어진 데이터로부터 의미 있는 구조를 추론할 수 있는 모델이며, 특히 저차원 공간의 특성으로 변환할 수 있다는 표현학습을 수행할 수 있다. 딥러닝을 다루기 전에 이 표현학습에 대해 명확히 이해하고 넘어가야 한다.

4-1. 모델이 사람처럼 행동하기 위한 학습, 표현학습(Representaion Learning)

표현학습의 핵심 아이디어는 엄청난 고차원 표본 공간을 직접 모델링 하는 것이 아니라 저차원의 잠재공간(Latent Space)을 사용해서 학습 데이터의 각 샘플을 저차원의 특정 포인트로 표현을 하는 것이다. 그리고 이를 특정 함수 $f$를 사용해서 저차원의 특정 포인트를 원본 공간의 데이터(ex. 새로 생성된 이미지, 텍스트 등)와 매핑하는 것이다.

 

위 텍스트로만 봤을 때는 표현학습에 대해서 잘 체감이 안될 수 있다. 필자도 그랬기 때문에 예시를 통해서 이해해보도록 하자. 만약 아래와 같은 깡통 모양의 이미지 데이터셋들이 있다고 가정하자.

 

 

이 데이터셋을 보고 인간과 생성 모델이 어떻게 새로운 이미지를 생성하는지 일종의 사고과정(?)을 서술하면서 비교해보자. 먼저 사람이다. 사람은 먼저 위 데이터셋(고차원 공간)을 보고 새로운 이미지를 생성한다고 생각하면, 곧바로 '높이와 너비' 라는 특징들을 이용해서 새로운 이미지를 생성할 것이다. 여기서 바로 '높이와 너비'라는 특징이 바로 저차원 잠재 공간에서의 특성을 사람이 인지했다라고 볼 수 있다.

 

하지만 생성 모델(컴퓨터)은 사람처럼 이런 것들을 곧바로 인지하지 못한다. 즉, 생성 모델은 '높이와 너비'라는 것이 저차원 잠재공간의 특성이라는 것을 스스로 인지할 수 없다. 그래서 생성 모델은 학습 데이터(고차원 공간)를 CNN, RNN 등과 같은 딥러닝 기법을 사용해서 '높이와 너비' 같은 저차원의 잠재공간의 특성을 인지하도록 해주어야 한다. 그리고 난 다음 생성 모델은 매핑 함수 $f$를 학습 즉, 생성 모델의 파라미터를 학습하여 저차원 잠재공간의 특정 포인트가 원본 공간의 어떠한 결과와 매핑하도록 한다.

 

 

방금 위에서 CNN, RNN 등과 같은 딥러닝 기법을 사용해서 저차원의 잠재공간의 특성을 인지하도록 해준다고 했는데, 이는 표현학습의 장점 중 하나이다. 즉, 표현학습은 의미 있는 저차원 잠재공간에서 이미지의 고수준 속성에 영향을 미치는 연산을 수행할 수 있게 해준다. 

 

또 다른 예시를 들어보자. 이번에는 좀 색다른 예시인데, 예를 들어, 군중 속에서 당신의 얼굴을 생성 모델이 예상해서 생성한다고 쳐보자. 실제로 어떤 사람이 모르는 사람의 얼굴을 인식할 때, 그 사람의 피부조직(픽셀)이 어떻고, 세포 색깔(픽셀)이 어떻고.. 하면서 설명하지 않는다. 단순한 "금발머리에 안경을 썼다"라는 정보만으로도 사람은 머릿속에서 그 특성에 맞게 이미지를 생성한다. 만약 금발머리에 안경을 썼다와 같은 정보를 추가로 전달해줄수록 사람은 더 명확하게 적절한 이미지를 잘 생성해낼 것이다. 

 

이것처럼 생성 모델도 표현학습을 통해서 학습 데이터(고차원)로부터 저차원의 잠재공간에서 의미 있는 특성을 추출하고 이를 학습하여 적절한 형태의 새로운 이미지로 생성해줄 수 있는 것이다. 이를 수학적으로 설명해보면, 학습 데이터의 비선형 매니폴드(manifold)를 찾고 이 공간을 완전하게 설명하기 위해 필요한 차원을 구성하게 된다. 이렇게 보니 생성 모델이 마치 인간의 사고 및 인지 과정을 묘사한 듯 하다. 

 

정리하면, 표현학습은 이미지의 픽셀들이 어떻게 출력되어야 하는지 가장 잘 설명하는 고수준 특성을 만든다. 이렇게 만든 고수준의 특성을 이용해 만든 잠재 공간의 포인트는 결과적으로 적절하게 잘 생성된 이미지를 표현할 것이다. 심지어 잠재 공간에서의 고주순 특성 값을 조금만 바꾸면 금세 새로운 이미지를 표현할 수 있게 된다.

---

지금까지 해서 생성 모델링의 개념과 이론에 대해서 알아보았다. 다음 목차부터는 전통적인 생성 모델 종류인 AE(AutoEncoder)와 VAE(Variational AutoEncoder)에 대해서 알아보도록 하자.