[ML] Partial Least Squares(부분 최소제곱법)

🔉해당 포스팅에서 사용된 자료는 고려대학교 산업경영공학부 김성범교수님의 Youtube 강의자료에 기반했음을 알려드립니다. 혹여나 출처를 밝혔음에도 불구하고 저작권의 문제가 된다면 joyh951021@gmail.com으로 연락주시면 해당 자료를 삭제하겠습니다. 감사합니다.(저작권의 문제가 되지 않도록 사진은 최대한 제가 직접 만든 자료로 대체했습니다 :) )

 

이번 포스팅에서는 Feature Extraction의 방법 중 하나인 Parital Least Squares(부분 최소제곱법)에 대해 알아보려고 한다. 부분 최소제곱법은 Feature Extraction 방법 중에서도 Supervised한 방법에 속한다. 아니 Feature Extraction에서도 Supervised와 Unsupervised가 나누어져 있는 건가? 결론부터 말하면 맞다.

 

따라서 부분 최소제곱법을 소개하기 이전에 Feature Selection과 Feature Extraction의 차이가 무엇인지, 그리고 각각의 방법에서도 Supervised, Unsupervised한 방법의 차이가 무엇인지 알아보자.

 

PLS는 차원축소의 방법 중 하나이다.

 

먼저 Feature Extraction과 Feature Selection의 차이점은 무엇일까? 우선 한국어로 해석하자면 '추출'과 '선택'의 의미적 차이가 있다. 좀 더 데이터 차원에서 의미를 확장해본다면 '추출'은 기존의 것들을 무엇인가 변형을 취해 새로운 것을 만들어내는 의미인 반면 '선택'은 기존의 것들을 그대로 둔 채 하나(또는 그 이상)를 선택하는 것을 의미한다. 두 개의 차이를 그림으로 확인해보면 다음과 같다.

 

Feature Extraction VS Feature Selection

 

이제 두 가지의 차이점을 알았으니 각 방법에 있어서 Supervised와 Unsupervised의 차이점은 무엇일까? 바로 종속변수 즉, Y값을 고려하여 변수를 추출(또는 선택)하는지 여부이다. 우리가 이전에 머신러닝의 기본 모델 종류를 배울 때 지도(Supervised) 학습, 비지도(Unsupervised) 학습으로 나누어 배운 것처럼 Feature Extraction과 Feature Selection 에서도 동일하다. 각 방법들의 자세한 기법 정보는 다음과 같다.

 

차원 축소방법의 대표적인 종류들

 

이제 우리가 중점적으로 다룰 주제는 위 그림의 가장 왼쪽에 있는 PLS인 부분 최소제곱법이다. PLS는 Supervised한 방법으로서 Y값을 고려해서 차원을 축소하게 된다. 이 때 Y값을 고려한다라는 것은 Y값의 분산을 활용하는 것을 의미한다. 따라서 PLS는 X라는 독립변수들의 선형결합과 Y라는 종속변수 이 2개 간의 공분산을 최대화하는 새로운 변수로 추출(Extraction)하는 것을 의미한다.

 

PLS를 PCA와 비교해 설명한다고 하면, PCA와 같은 $X$변수들 간의 일반적인 선형결합으로 추출된 새로운 변수가 설명하지 못하는 부분에 반복적인 최소제곱법을 활용하는 것이 PLS이다. 이렇게 말로만 한다면 제대로 이해가 되지 않을 것이다. 몇 가지 수식을 살펴보면서 이해해보자.

 

우선 $X$는 입력변수, $Y$는 출력변수, $t$는 PCA 수행할 때와 동일한 일반적인 $X$의 선형결합, $w$는 선형결합의 계수(가중치)를 의미한다. 이 때 일반적인 $X$의 선형 결합으로 인해 다음과 같은 식을 만족한다.

 

$$t = Xw$$

 

이제 $X$의 선형결합인 $t$와 종속변수인 $Y$간의 공분산을 계산해보자. 계산하기 위해 일시적인 계산 트릭을 사용할 것이다. 바로 우변에 $t$와 $Y$의 각 표준편차로 나누어주고 다시 곱해준다. 

 

$$Cov(t, Y) = {Cov(t, Y)\over\sqrt{Var(t)}\sqrt{Var(Y)}}\sqrt{Var(t)}\sqrt{Var(Y)}$$

 

이 때 위 공식을 잘 살펴보면 $t$와 $Y$간의 상관관계(Correlation) 공식이 숨어있음을 알 수 있다. 따라서 식은 다음과 같아진다.

 

$$Cov(t, Y) = Corr(t, Y)\sqrt{Var(t)}\sqrt{Var(Y)}$$

 

따라서 $\max [Cov(t, Y)]$는 $\max [Corr(t, Y)Var(t)]$와 동일하게 된다. $Y$값은 이미 주어져 있는 값이기 때문에 $Var(Y)$를 최대화할 수 없다. 따라서 우리가 할 수 있는 부분은 선형결합인 $t$의 분산인 $Var(t)$와 $Corr(t, Y)$의 곱을 최대화하는 것이다.

 

우리가 원하는 조건(최대화)을 만족시키기 위해서는 $t$를 알아야 한다. 그런데 $t = Xw$이기 때문에 $w$값을 알게되면 $t$값도 자동으로 알게 된다. 우선 $t$에다가 $Xw$를 대입해서 $\max Cov(Xw, Y)$를 계산해보자.

 

$$Cov(Xw, Y) = E[(Xw - E(Xw))(Y - E(Y))]$$

 

이 때 $Xw$와 $Y$를 정규화 시켜주기 때문에 $E(Xw)$와 $E(Y)$는 자동으로 0이 되게 된다. 따라서 다음과 같은 식으로 귀결된다.

 

$$E[(Xw - E(Xw))(Y - E(Y))] = E[Xw \cdot Y]$$

 

위 식을 $1$부터 $n$까지 $\sum$식으로 풀어주게 되면 다음과 같아진다.

 

$${1\over n}\sum_{i=1}^{n}(Xw)_i Y_i = {1\over n}(Xw)^T Y = {1\over n}w^T(X^TY)$$

 

식을 잘 보면 $w^T$ 라는 벡터와 $X^TY$ 라는 벡터의 내적을 의미하는 것을 알 수 있다. 그래서 이 내적의 값이 최대화가 되도록 해야함을 의미하는데, 내적 값이 최대가 되려면 두 벡터 사이의 각도인 $\cos\theta$ 가 최댓값이 되어야 한다. 잠시 $\cos\theta$ 의 그래프를 살펴보자.

 

코사인 그래프

 

$\cos\theta$ 그래프를 보면 $x = 0$값에서 $\cos\theta$ 가 최대임을 알 수 있다. 그래서 $w^T$ 벡터와 $X^TY$ 벡터의 $\cos\theta$가$0$이라는 것은 두 벡터가 같은 방향을 가리켜야 함을 의미한다.결국 $w$값은 다음과 같이 정의된다.

 

$$ w^T(X^TY) = \lVert w \rVert \lVert X^TY \rVert \cdot \cos\theta$$

$$ w = X^TY $$

 

 

결국 위 식을 최대화하면 되고 이렇게 구한 $w$값을 아까 선형결합이라고 했던 $t = Xw$ 식에 대입하면 된다. 이제 $t$값과 $w$값을 구하는 방법을 알았으니 주성분의 일종인 PLS Component를 구하면 된다. 구하는 단계는 다음과 같다.

PLS Component 구하는 단계

첫 번째

주어진 데이터, 독립변수($X$)와 종속변수($Y$)들을 모두 정규화 시킨다.

두 번째

초기값인 $X_1$, $Y_1$을 설정하고 첫 번째 $t_1$ 값을 찾아낸다. $t_1$값을 찾아내는 방식은 위에서 설명했던 방법을 이용해서 계산한다. 

세 번째

위에서 구한 $t_1$값과 $Y_1$, $X_1$을 이용해 두 번째 $X_2$, $Y_2$를 설정한다. 이 때가 PLS의 중요 포인트가 등장한다. 하나하나씩 살펴보자.

 

우선 $t_1$은 $Y_1$과 $X_1$값을 활용해 나온 것이기 때문에 다음과 같은 회귀분석을 정의할 수 있다.

 

$$Y_1 = \beta_1 t_1 + F_1$$

 

이 때 $\beta_1$은 위 회귀식에서 추정해야 할 회귀계수를 의미하며 $F_1$은 $Y_1$을 주어진 회귀식으로는 설명할 수 없는 부분(Y절편이라고도 함)을 의미한다. 여기서 이제 최소제곱법을 이용해 $\beta_1$을 추정한다. 그리고 우변의 $F_1$을 남기고 모두 좌변으로 이항하면 다음과 같아진다.

 

$$F_1 = Y_1 - \beta_1 t_1$$

 

위의 $F_1$은 다음 단계에서 설정할 $Y_2$값으로 정의해준다. 다시 말해 $Y_1$을 회귀식(최소제곱법)을 통해 추정했지만 설명하지 못했던 부분인 $F_1$을 $Y_2$로 설정함으로써 다음 단계에는 이 설명하지 못한 부분($Y_2$)을 또 회귀식으로 추정하게 되는 것이다.

 

그렇다면 $X_2$는 어떻게 설정할까? $Y_2$를 설정했던 것 처럼 동일하게 수행한다. 이전에 $t = Xw$라고 설정했듯이 $X$는 $t$와 정확한 값을 모르지만 임의의 계수값으로 설명이 가능하다. 따라서 또 하나의 회귀식이 정의될 수 있다.

 

$$X_1 = \alpha_1 t_1 + E_1$$

 

똑같이 최소제곱법을 이용해 $\alpha_1$값을 추정하고 $E_1$을 남기고 좌변으로 모두 이항시켜 $X_2$값을 다음과 같이 정의한다.

 

$$X_2 = E_1 = X_1 - \alpha_1 t_1$$

네번째

이렇게 $p$개(독립변수($X$) 개수)까지 과정을 계속적으로 반복하여 PLS를 수행하게 된다. 마지막까지 PLS Component를 구한 후 모든 PLS 변수의 회귀식으로 $\hat{Y}$값을 다음과 같이 예측한다.

 

$$\hat{Y} = \sum_{i=1}^{k}t_i \beta_i = t_1 \beta_1 + t_2 \beta_2 + t_3 \beta_3 + \cdots + t_k \beta_k$$

 

결국 PLS가 동작하는 과정에 대해 도식화해본다면 다음과 같다.

 

PLS의 동작과정을 그림으로 그려보면 이렇다.

 

자, 이제 PLS의 거의 모든 부분을 다 배웠다. 그런데 뭔가 허전하다. PLS는 차원 축소 방법이라고 했는데 지금까지는 차원을 축소하지 않고 단순히 변형을 취해서 주성분을 만든 것만 하지 않았는가? 이제 PLS 차원을 축소시켜보자.

 

PCA도 그랬듯이 차원을 축소하려면 어느 정도의 차원으로 적절하게 축소해야 하는지에 대한 고민이 있기 마련이다. PLS는 적절한 차원 수를 결정하기 위해 차원 개수에 따라 $Y$값을 예측했을 때 정확도를 기준으로 결정한다.(참고로 PCA의 적절한 주성분 개수 찾는 방법에 대해서는 여기에 있으니 궁금하면 알아보도록하자.)

 

방금 위에서 살펴본 $\hat{Y} = \sum_{i=1}^{k}t_i \beta_i$ 식을 기반으로 $i$값에 따라 예측 정확도를 비교하면 된다. 이 때 데이터를 Train/Test로 분할한 뒤 각각의 데이터에 대해 정확도를 예측하고 Train Error와 Test Error를 비교하는 식으로 적절한 차원 수를 선정한다. 다음 그림을 보자.(하단의 그림은 김성범교수님의 Youtube 강의자료에서 발췌했음을 알립니다.)

 

PLS의 차원 개수에 따른 Train/Test Error

 

위 그래프에서 Train Error가 적절히 낮되 Test Error가 가장 낮을 때의 차원 수로 하는 것이 가장 적절하게 차원을 축소하는 것이라고 할 수 있다. 따라서 위 그래프의 경우에서는 5개의 차원으로 축소하는 것이 가장 적절할 것이다.

 

지금까지 살펴본 PLS 방법은 일변량일 때 사용한 방법이다. 다변량일 때 PLS 방법도 존재하는데 본질은 위 방법에서 계산이 추가되는 내용 밖에 없다. 이에 대해 자세하게 알고 싶다면 원본 강의자료 영상 후반부를 시청해보도록 하자.