Eigen vector & Eigen Value

오랫동안 공식으로만 애매하게 머릿속에 있던 eigen vector와 eigen value의 의미를 오늘 youtube 강의 몇개를 듣고 좀 더 알게되었다. 

잊기전에 복습 차원에서 오늘 알게 된 내용들을 적어본다. 

일단 eigne vector와 Eigen value가 어디에 쓰이는 지 알고 싶었다. 

Eigen vector와 value 모두 어떤 square matrix를 3 부분으로 분해한 것 들의 한 부분들이다. 

분해의 정확한 명칭은 Eigendecomposition. 사실 Sigular Value Decomposition을 찾다가 그 근간인 Eigendecomposition을 배웠다. 

매트릭스를 어떻게 분해할까?

우선 아무 매트릭스나 분해할 순 없고 어떤 조건들을 만족하는 것들만 Eigendecomposition을 적용할 수 있다. 

그 조건이란, 

1) square여야 하고

2) n x n square matrix를 구성하는 n개의 열 (Eigenvector)들이 각각 linearly independent해야 한다. 이말의 뜻은 한 열이 다른 어떤 열의 정수배로 표현될 수 없어야 하다는 의미이다. 예를 들어 한 열 V1 이 [ 1 0 1]인데 이 매트릭스에 다른 한 열 V2이 [2 0 2]로 V1의 2배이면 이 조건을 만족할 수 없다. 

고유값의 정의를 나타내는 식이 이렇다.

v가 왜 양변에 두번이나 들어가 있을까? 뭔가 너무 당연해 보이는 동어반복 같기도 하지만, 어떻게 같은 v에 서로 다른 A와 lambda를 곱하는데 값이 같을 수 있지?하는 생각을 오랫동안했다. 물론 이상하게만 생각했지 거의 10년동안 왜 그런지 알아 보진 않았다. 

일단 이 기호들이 뭘 말하는 지 보자. A는 위에서 말하는 조건을 만족하는 임의의 n X x square matrix. Lambda는 n X n diagonal matrix. v는 n X 1의 벡터다. 

서로 다른 벡터 v 가 n개가 있어야지 이들을 모아 n x n square matrix를 만들 수 있을 것이다. 그래서 그런게 있다고 가정하고 n X n의 coulmn vector v를 모은 matrix를 P라고 부르자.

v를 P로 바꾸기 전에 한가지 살펴보자. 

 와 는 다른 특징이 있다. 전자는 lambda의 대각원소들이 P 행렬의 각 행을 스케일링 해주는 반면, 후자는 P행렬의 각 열을 스케일링 해준다. 만약 P가 열벡터 v를 그대로 1열 부터 n열 까지 배열하여 만든 것이라면, 처럼 각 열을 스케일링 해주는 것을 택해야 한다. 

P의 역행렬을 양변에 곱해주면

만약에 위의 식을 만족하는 P와 lambda가 있다면 임의의 square 행렬 A를 저렇게 3개(실제로는 2개)의 매트릭스의 조합으로 표현할 수 있을 것이다. 다시말해 A를 3부분으로 분해했다. 

저 분해된 각 부분들의 이름을 붙여준다. 

P는 Eigen vector 그리고 lambda는 eigen value. 

이렇게 접근하니깐 저 이름들이 뭘 의미하는 지 더 쉽게 와닿는다. 

기하학적으로 보면 어떤 벡터 P를 lambda만큼 scaling 하는 것이다. 그리고 위를 만족하는 매트릭스 P, lambda는 A에대해 유일한 값을 갖기 때문에 'Eigen 고유'하다는 말을 쓰는 것이었다.