선형성(Linearity) 정의 및 1차연립방정식의 의미

선형대수 카테고리에서는 한양대학교 KOCW 오픈강의 이상화 교수님의 선형대수 강의를 듣고 이에 대한 학습 포스팅을 남기려고 한다. 이번학기에 전공과목으로 배우기 시작한 머신러닝 과목에서 확률과 통계 개념도 등장했지만 모델에 따라 선형대수에 관한 개념도 많이 등장해서 개인적으로 선형대수학을 공부하려고 한다. 

 

첫 포스팅은 선형대수의 '선형성'이라는 것에 대한 정의와 1차연립방정식의 의미에 대해 알아보자.

 

1. 선형성(Linearity) 

선형성의 정의

우선 '선형'이라는 말은 "특정 함수나 Operation(연산)이 Linear(선형적)하다." 라는 말에 사용될 수 있다. "특정함수나 연산이 Linear하다"라고 하기 위해서는 두 가지 조건을 만족해야 한다.

 

• Superposition(중첩) : f(x1+x2) = f(x1) + f(x2) 라는 식을 만족해야 한다.

• Homogeneity(동종) : f(ax) = af(x) 식을 만족해야 한다. 이 때 a는 constant로서 상수이다.

따라서 위 두개의 조건을 모두 만족하게 되면 f(a1x1+a2x2) = a1f(x1) + a2f(x2) 가 되게 된다.

 

그리고 "특정 함수가 Linear 하다" 라고 할 수 있는 기본적인 성질이 있는데 그것은 바로 '원점을 지나는' 함수이다. 위 그림의 y=mx 일 때와  y=mx+n 이라는 원점을 지나고 지나지 않는 각각의 예시를 보도록 하자. 참고로 알아두어야 할 점은 원점을 지나지 않는 y=mx+n 함수에서 m이라는 기울기(x변화율에대한 y변화율)는 "Linear 하다"라고 할 수 있다.

 

다음은 함수가 아닌 연산의 일종인 '미분, 적분' 일 때와 '행렬'일 때의 Linear 성질을 살펴보자. 기본적인 '중첩'과 '동종'의 성질은 비슷하고 식의 형태에 집중하면서 밑의 그림을 보면 된다.

 

연산과 행렬의 Linearity

 

이제 우리는 행렬을 자주 다룰텐데 우선 행렬에 대한 기본적인 표기법 부터 알고가자. 이것은 추후의 필기 내용을 이해하는 데에 도움이 될 것이다.

 

행렬의 기본 표기법

우선 선형대수에서의 행렬은 '행 벡터'가 아닌 '열 벡터'를 다룰 것이다. 두 개의 관계는 서로 Transpose(전치)한 관계이다. Transpose란 행과 열을 서로 바꿔주는 것을 말하는 데 위 그림의 오른쪽 예시를 참고하면 이해가 수월할 것이다.

 

2. Linear Combination(선형 결합)

다음은 중요한 Linear Combination에 관한 내용이다. 밑의 그림에서 V, W는 열 벡터이며 알파와 베타값은 상수(Constant)이다. 

 

선형 결합을 알아보자.

우리는 위 그림에서 주목해야 할 점은 V, W라는 열 벡터를 하나의 행렬로 감싸주고 알파와 베타값을 곱해줌으로써 맨 오른쪽 식과같이 '선형결합'의 형태가 된다는 점을 인지하고 있어야 한다는 것이다.

 

3. 행렬과 항등원, 그리고 역원은 무엇인가?

고등학교 시절 행렬, 항등원, 역원에 대해서 배웠었지만 기억이 희미했다. 다행히 교수님께서 이에 대한 개념을 간략적으로 가르쳐주셨고 간단하게 개념을 짚고 넘어가자.

 

행렬, 항등원, 역원

우선 m by n 이라는 행렬이 있다고 하자. 이를 n by l 이라는 하나의 행렬을 곱하게 되면 m by l 이라는 행렬이 나오게 된다. 이 때 곱셈 연산을 했던 두 개의 행렬 끼리는 [ m by n 의 열에 해당하는 n값 = m by l 의 행에 해당하는 n값 ] 이 같아야 한다. 단, 이 때 서로 교환법칙이 성립하지 않는다. 그럼 항등원과 역원에 대해서 알아보자.

 

• 항등원 : 고등학교 시절 E라는 기호로 자주 사용했으며 여기에서는 주로 Identity Element의 I를 따서 I라고 표기를 하게 된다. 그리고 위 그림과 같이 대각행렬이 1로만 이루어져있는 것을 말하며 임의의 행렬 A에 항등원 I를 곱하면 자기 자신 행렬인 A가 나오게 된다. 이 때 교환법칙이 성립한다.

• 역원 : 임의의 행렬 A에 '어떤 행렬'을 곱했을 때 I라는 항등원 행렬이 나오는 것을 말한다. 역원을 구하는 공식은 위의 그림과 같다. 하지만 위 예시에서는 2 by 2행렬을 예시로 들었지만 차원이 높아지게 되면 적용했던 역원을 구하는 공식을 사용하지 못하게 된다. 이로 인해 추후에 소개할 '가우스 소거법'이 등장하게 된다.

4. 벡터의 연산과 함수에서의 내적

두 개의 벡터를 더하고, 뺀것, 그리고 곱하는 연산의 결과값이 어떻게 도출되는지 밑의 그림을 보면서 이해하자.

• 벡터의 합 : 두 개의 벡터를 사용해 평행사변형의 원리를 적용하여 계산한다.

• 벡터의 차이(뺄셈) : 두 개의 벡터 사이의 거리를 측정하는 것처럼 계산.(밑에 그림 참조)

• 벡터의 곱 : inner product라는 내적방법을 사용하는데 공식은 밑의 그림과 같아진다. 

 

벡터의 연산과 함수의 내적

내적방법은 함수에서도 사용할 수 있는데 f1(t), f2(t) 라는 두 개의 함수가 있다고 가정하자. 이를 벡터에 적용해본다면 무수히 많은 f1(t), f2(t)의 값들이 f1(t), f2(t)의 각각 벡터들의 element(요소)로 정의할 수 있다. 그리고 이 두 개의 벡터를 곱한것을 적분하는 방식으로 내적을 할 수 있게 된다.

 

5. Gauss Elimination(가우스 소거법)

아까 역원을 구하는 방식에서 잠깐 언급했던 가우스 소거법에 대해서 알아보자. 우선적으로 말하면 가우스 소거법은 어떠한 '공식'이 아닌 '절차'를 의미한다는 것을 알아두자. 가우스 소거법은 선형(Linear) 연립 방정식을 풀기 위한 절차(방법)으로 정의할 수 있다. 밑의 예시를 보면서 우리가 고등학교 시절 자주 알고 있는 방법으로서 row form 형태와 행렬, 그리고 벡터의 형태순으로 알아보자. 포인트는 일차식과 행렬을 이용하는 row form 방식은 두 개의 교점을 찾는 것이지만, 벡터를 이용할 때는 열 벡터(Column vectors)들의 선형결합을 찾는 것이다.

 

가우스 소거법의 원리

위와 같이 2가지의 방법이 있지만 row form을 이용하는 것은 더 높은 차원의 문제를 해결할 때는 한계가 있다. 따라서 위대한 수학자 가우스는 벡터를 이용하는 것이 더 많은 범위의 문제를 풀 수 있다고 주장했다.

 

그렇다면 이번엔 벡터를 이용해서 3차원 벡터의 예시를 살펴보자.

밑의 그림과 같이 3차원 벡터가 존재하고 이는 선형결합(Linear Combination)으로 바꿔줄 수 있다.

#이 때 변수 u,v w의 계수들이 서로 순서가 바뀌어도 우리가 구하려고 하는 값인 u,v w값들은 동일한 점을 알아두자. 

 

3차원 벡터에서의 선형결합