연속확률변수의 합과 컨볼루션(Convolution)

저번 포스팅에서는 확률변수 Y가 X에 대한 함수로 정의될 때 확률변수의 함수, 그리고 이에 대한 평균값을 구하는 방법에 대해서 알아보았다. 이번 포스팅에서는 이전과 달리 연속확률변수 X,Y가 존재할 때 이 두 개 변수의 합을 새로운 확률변수 S에 대해 정의하는 방법에 대해서 얘기해보려고 한다. 

 

참고로 다음시간에는 이산확률변수의 경우에 대해 다룰 예정이다.

 

1. 두 개의 연속확률변수의 합

 

두 개의 연속확률변수의 합

위 그림처럼 X+Y=S 라는 두 개의 확률변수 X,Y의 합을 S라는 새로운 확률변수로 정의해보자. 그렇다면 이 새로운 확률변수 S의 PDF함수는 어떻게 될까? 먼저 우리가 인지해야 할 점은 이 새로운 확률변수 S에 대한 PDF함수가 기존에 배웠던 fxy(x,y)라는 두 확률변수의 Joint 확률의 PDF식과 관련이 있을 것이라는 점이다.

 

이제 본격적으로 S라는 확률변수의 PDF를 구하기 위해서 CDF를 이용해보자. Fs(S)= 이라고 적혀있는 부분을 보면 S를 X+Y로 풀어줌으로써 확률변수 S에 대한 CDF함수를 두 가지의 경우로 나누어서 써볼 수 있다. 단 특정하게 구체적인 값을 구하기 위해서는 두 확률변수 X,Y에 대한 Joint 확률의 PDF함수가 주어져야만 구할 수 있다. 

 

위의 예시에서 fxy(x,y)에 대한 함수가 주어져있지 않기 때문에 초록색으로 밑줄치어진 부분으로 계산과정은 끝이난다.

 

2. 독립적인 두 개의 연속확률변수일 때의 합

그렇다면 두 확률변수 X,Y가 서로 독립적인 관계일 때, 이 두개의 확률변수의 합으로 나타내어지는 S에 대한 확률변수의 CDF, PDF함수는 어떻게 나타내어질까? 이 때 '독립적인 관계'에 근거해 이끌어낼 수 있는 'Joint확률 = 각확률변수들의 Marginal 함수들의곱' 즉, fxy(x,y) = fx(x)fy(y) 공식을 이용한다.

 

두개의 확률변수가 독립적일 때는 어떨까?

파란색 화살표를 따라가면서 확률변수 S에 대한 CDF를 구하기 위해서 독립관계로 이끌어낸 공식을 이용한다.

여기서 우리가 주목해야 할 점은 오른쪽의 초록색 동그라미로 묶어진 부분인데. 초록색 동그라미로 묶어진 부분이 각 각 Fx(s-y), Fy(s-x)와 같이 대칭 후 s만큼 평행이동한 CDF함수를 나타낼 수 있다. 따라서 이 두가지를 S에 대해 미분을 각각 시행하게 되면 왼쪽 파란색 네모칸과 같은 결과값이 도출된다. 

 

3. Convolution(컨볼루션)

따라서 우리는 위와 같은 파란색 네모칸을 통해 최종적으로 각각 x,y에 대해 적분을 시도하면 파란색 네모칸으로 쳐진 두 개의 경우 모두 밑의 그림 속 레몬색 형광펜으로 칠해진 부분으로 나온다. 이것을 우리는 Convolution이라고 정의하게 된다.

 

Convolution

위 그림처럼 fx(S)*fy(S) = fs(S) 라는 식이 나오게 된다. 간단한 예시를 들어서 Convolution의 방법은 단계별로 알아보자. x(t)와 h(t)의 컨볼루션이 y(t)라고 한다. 진행할 단계는 다음과 같다.

 

1. x(t)와 h(t)함수 중 아무거나 하나를 선택하여 대칭의 형태로 만들어준다.( x(u) 와 h(-u) )
2. t 만큼 대칭한 함수를 평행이동 시켜준다.( h(t-u) ) 이 때 t의 범위는 -무한대<t<+무한대 이다.
3. 이 두 개의 함수를 곱해 -무한대 ~ +무한대 범위로 u의 문자에 관해 적분을 해준다. 이 적분의 의미는 결국 두 함수의 Overlap(겹쳐지는) 구간을 적분하는 것이다.

복잡하지만 예시를 통한 그림으로 이해해보자. 색깔별로 표시하고 필기를 적어놓았으므로 천천히 따라가면서 이해해보자. 

Convolution 예시

혹시라도 위 예시에서 이해가 안되는 부분이 있으면 댓글로 남겨주세요! 아는 한 답변드리겠습니다! (모두가 이해하기 위해서...!)

 

4. Erlang-K 분포에서의 확률변수의 합

 

Erlang-K분포의 확률변수의 합

Erlang-K 분포는 기본적으로 시간 구간을 확률변수로 갖는다. 이에 따라 지수함수(Exponential)형태를 그리며 위의 그림과 같은 람다와 관련된 식으로 정의된다. 그렇다면 위 그림에서 Y와 같은 X뒤의 시간구간이 이어진 후 X,Y를 합친 S라는 새로운 시간구간의 확률을 구해보자. 이 때 우리가 기억해야 할 한가지는 Erlang-K분포의 확률변수가 시간구간이라는 특성상 위 그림에서 X와 Y라는 시간구간(확률변수)는 서로 독립적이라는 점이다!!

 

따라서 오른쪽 수식과 같이 새로운 확률변수 S에 대한 PDF함수는 Convolution을 이용해서 수식으로 나타내어 질 수 있다.

 

그렇다면 이제 그래프를 그려보면서 S값의 범위에 따라 어떤 구간이 겹쳐지는지 살펴보자.

 

Erlang-K분포에서의 예시

(1), (2) 범위에 따라 다음과 같이 정의된다. (2)번처럼 S가 0보다 크게 된다면 그래프 위에서 빨간색으로 그려진 지수함수 그래프를 나타나게 될 것이다. 그러면 fy(S-t)와 fx(t) 함수가 겹치는(Overlap)부분이 있을테고 이에 따라 계산을 해주게 된다.

 

만약에 추가적으로 세번째 시간 구간까지의 합으로 정의되는 새로운 확률변수를 구하고 싶다면 두번째 구간까지 컨볼루션을 이용해서 구한 값에 다시 새로운 구간을 컨볼루션으로 계산해주면 된다. 즉, 연속적인 컨볼루션 연산을 이용하면 된다는 뜻이다.

 

5. 두 개의 확률변수 합인 새로운 확률변수의 평균과 분산값

제목이 복잡해보일 수 있다. 문자로 표현하면 X+Y=S 라고 두개의 확률변수의 합으로 정의된 새로운 확률변수 S의 평균과 분산값을 구하는 방식이다. 

 

우선, 평균값은 간단하다. E[S] 에서 S=X+Y를 대입해주고 Linear성질을 이용해 E[X]+E[Y]로 나타내어질 수 있다.

 

두 개의 확률변수 합의 평균과 분산

이제 분산값을 구해보자. 우선 분산값을 구하기 위해 처음에는 분산= (확률변수-평균값)의 제곱의 평균 을 이용해서 

E [ (S - E[S] ) 제곱 ] 으로 나타내어질 수 있다. 이를 분배법칙으로 풀어주면 파란색과 분홍색으로 밑줄치어진 부분의 긴 식이 나오게 된다. 이 때 우리가 주목해야 할 점은 파란색으로 밑 줄쳐진 두 식은 각각 확률변수 X,Y에 대한 분산값이다. 그리고 중간의 분홍색으로 칠해진 부분은 바로 공분산을 의미한다. (여기서 긴 식의 맨 앞에 E [ ] '평균 ' 이 있다는 걸 잊지말자!) 

 

이 때 만약 두 확률변수 X,Y가 서로 독립적이거나 상관성이없다(Uncorrelated)라 할때 공분산과 상관계수가 0이 되버린다. 따라서 두 조건 중 하나만 만족한다면 "시그마제곱S = 시그마제곱X + 시그마제곱Y" 라는 식이 나오게 된다.

 

이 식을 일반화하도록 유도하기 위해서 초록색 네모칸으로 쳐진 부분을 통해서 시그마로 표현할 수가 있다.(해당 예시에서는 확률변수가 3개일 때를 의미)