행렬식과 Eigenvalue & Eigenvector

 

 

행렬식(determinant)

행렬식(determinant)은 정사각행렬에 대해서만 정의되고 행렬의 특성을 결정짓는 값이다.
행렬식은 행렬의 가역성, 선형독립성 등을 파악하는 데 중요한 역할을 한다.

- 계산 방법

기본적인 2x2 행렬의 determinant는 다음과 같이 계산할 수 있다. 

$det\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]=ad-bc$

3x3 행렬은 다음과 같이 계산한다.

$det\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right]=a(ei-ef)-b(di-fg)+c(dh-eg)$

일반적인 n x n 행렬은 다음 방법으로 계산할 수 있다.

- Levi-Civita를 이용한 표현

레비-치비타 기호는 행렬식을 아인슈타인 지수표기법으로 표현할 수 있게 해준다.

Levi-Civita 기호는 n개의 첨자를 가지며 각 첨자는 1부터 부터 n까지 정수값을 가질 수 있다.
첨자의 순열에 따라 다음과 같은 값을 가진다.
- 짝순열: 원래 순서에서 짝수 번의 교환으로 만들 수 있는 순열 → +1
- 홀순열: 원래 순서에서 홀수 번의 교환으로 만들 수 있는 순열 → -1
- 중복된 첨자 → 0
예를 들어 ${ϵ}_{12}=1,{ϵ}_{21}=-1$ 이다

먼저 2 x 2 행렬의 determinant를 Levi-civita 기호로 표현하면 $A_{11}{A}_{22}-A_{21}{A}_{12}=\sum _{i,j}{ϵ}_{ij}{A}_{1i}{A}_{2j}$
2 x 2 행렬이 아닌 n x n 행렬이라면 i와 j가 아닌 $i_1$ 부터 $i_n$ 까지 생각해볼 수 있다.

$det(A)=\sum _{i_1,i_2,...,i_n}{ϵ}_{i_1{i}_2\cdots i_n}{A}_{1i_1}{A}_{2i_2}...A_{n{i}_n}$

여기서 $ϵ$ 은 순열의 부호를 나타내는 기호이다.

이렇게 n x n 행렬의 determinant를 Levi-Civita 기호로 표현하여 행렬식의 여러 속성을 쉽게 증명할 수 있기도 하다. 또한 이론적인 증명에 유용하다. 다만 실제 행렬식을 계산하는 데에는 비효율적이며 여인수 전개나 다른 수치적 방법이 효율적이다.

- 여인수(cofactor)를 이용한 표현

행렬 A의 i, j 성분에 대한 여인수는 다음과 같이 정의된다.

$a_{ij}$의 여인수: $C_{ij}=(-1{)}^{i+j}\cdot M_{ij}$
이때 $M_{ij}$는 행렬 A의 i행과 j열을 제외시킨 행렬의 determinant를 뜻한다.

예를 들어 3x3 행렬을 보면 
$A=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& {}_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]$

$M_{11}=\left|\begin{array}{cc}{a}_{22}& a_{23}\\ a_{32}& a_{33}\end{array}\right|=a_{22}{a}_{33}-a_{23}{a}_{32}$

여인수 $C_{11}=(-1{)}^{1+1}{M}_{11}$

이때 행렬의 어떤 행이나 열에 있는 원소와 해당 원소의 여인수의 곱을 모두 더하여 얻은 수는 항상 같다.
그리고 이를 행렬 A의 determinant라 한다.

결국 행렬 A의 행렬식 determinant는 다음과 같이 표현할 수 있다.

$det(A)=\sum _{j=1}^n{a}_{ij}{C}_{ij}$   혹은   $det(A)=\sum _{i=1}^n{a}_{ij}{C}_{ij}$

- 행렬식의 성질

1. $det(AB)=det(A)\cdot det(B)$
2. $det(A^T)=det(A)$
3. $det(A^{-1})=\frac{1}{det(A)}$ (A가 가역 행렬일 때)
4. 행렬 A에서 B로 row operation을 할 때 
   Replacement: $det(B)=det(A)$ (다른 행 scaling 후 어떤 행에 더하는 것)
   Interchange: $det(B)=-det(A)$ (두 행을 바꾸는 것)
   Scaling(k): $det(B)=k\cdot det(A)$
   $\left|\begin{array}{cc}ka& kb\\ c& d\end{array}\right|=k\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|$
   
   즉 한 행 또는 한 열을 다른 행 또는 열의 선형 결합으로 바꿔도 행렬식은 변하지 않음.
5. 삼각행렬의 행렬식은 대각성분의 곱.
6. $det(A)=0$ 이면 비가역적이다. 
7. $\left|\begin{array}{cc}a& b+e\\ c& d+f\end{array}\right|=\left|\begin{array}{cc}a& b\\ c& d\end{array}\right|+\left|\begin{array}{cc}a& e\\ c& f\end{array}\right|$ 를 만족한다.

- 기하학적 의미(부피의 변화)

• 2 x 2 행렬에서 행렬식은 행렬의 열벡터가 이루는 평행사변형의 넓이와 같다.
  마찬가지로 3 x 3 행렬에서 행렬식은 행렬의 열벡터가 이루는 육면체의 부피와 같다.
  
  
• 행렬식은 선형 변환을 했을 때 단위넓이(부피)가 얼마나 변하는지 나타낸다. 즉 scale 성분을 의미한다.
  예를들어 행렬 B가 평행사변형 S를 나타낼 때 행렬 A에 의해 선형변환 된다면
  T(S)의 넓이는 (= S의 넓이 $\cdot det(A)$ ) 가 된다.
  
  
• 또한 $det(A)$가 양수이면 도형의 방향이 보존되고 음수이면 보존되지 않는다. 
• 행렬식이 0이면 선형 변환이 차원을 축소시킨다. 때문에 역행렬이 존재하지 않는다.

 

adjugate matrix를 통한 역행렬 계산

역행렬은 $det(A)$와 $\text{adj}(A)$ 로 나타낼 수 있으며 다음과 같다.

역행렬 계산: $A^{-1}=\frac{1}{det(A)}\text{adj}(A)$ (단 A의 determinant가 0이 아닐때)

이때 adjugate matrix 는 $\text{adj}(A)=C^T$ 즉 여인수 행렬의 transpose와 같다. 
앞에서 여인수 행렬의 원소는 $C_{ij}=(-1{)}^{i+j}\cdot M_{ij}$ 임을 알았다. 

 

특성방정식

행렬 A의 특성방정식은 다음과 같다.
$det(A-\lambda I)=0$
이때 $\lambda$는 행렬의 고유값(eigenvalue)을 의미한다. 

교유값 람다가 존재한다면 $A\mathbf{x}=\lambda \mathbf{x}$ 에서 0이 아닌 해 $\mathbf{x}$ 가 존재한다.
이를 $A\mathbf{x}=(\lambda I)\mathbf{x}$ 처럼 쓸 수 있고 
$(A-\lambda I)\mathbf{x}=0$ 으로 정리할 수 있다. 

위 식에서 0이 아닌 해 nontrivial sol. 이 존재해야 하기에 행렬 $A-\lambda I$는 역행렬이 존재하지 않고
$det(A-\lambda I)=0$ 이어야 한다. 

Eigenvalue와 Eigenvector

- 정의

행렬 에 대해 다음을 만족하는 $\lambda$ 와 $\mathbf{x}$ 가 존재할 때:
$A\mathbf{x}=\lambda \mathbf{x}$
이를 고유값(eigenvalue)과 고유벡터(eigenvector)라 한다. 

Eigenvector는 행렬 A에 의해 변환될 때 크기만 스케일링 되는 벡터이며
Eigenvalue는 이때의 스케일 팩터이다. 

n x n 행렬에서 eigenvalue는 최대 n개까지 가질 수 있다.

- 성질

1. 행렬 A가 삼각 행렬(upper/lower triangular matrix)이면 대각 원소가 고유값(eigenvalue)이.
2. $det(A)=\prod {\lambda }_i$   (고유값의 곱은 행렬식과 같음).
3. $\text{tr}(A)=\sum {\lambda }_i$   (고유값의 합은 행렬의 대각합과 같음).
4. $(A-\lambda I)\mathbf{x}=0$ 을 만족하는 $\mathbf{x}$의 전체 집합이 형성하는 공간을 Eigenspace라 한다.
   Eigenspace = {0, eigenvectors}
5. n x n 행렬은 최대 n개의 eigenvalue를 가질 수 있다.
6. eigenvector는 스케일링 되어도 eigenvector 이다.
7. 서로 다른 eigenvalue에 대응하는 eigenvector는 다르며 서로 독립이다.

- 기하학적 의미

• 행렬 A의 고유벡터(eigenvector)는 A에 의한 선형변환에서 방향이 유지되는 벡터이다.
• 고유값(eigenvalue)은 변환 후 스케일링 비율을 나타낸다.
  예를 들어, 2×2 행렬의 고유벡터(eigenvector)를 찾으면 해당 변환이 특정 축을 따라 어떻게 변하는지 알 수 있다.

 

행렬식과 eigenvalue의 관계

• 행렬식(determinant)은 행렬의 모든 고유값(eigenvalue)의 곱과 같다.
  만약 A의 고유값이 ${\lambda }_1{\lambda }_2...{\lambda }_n$ 이라면 
  $det(A)={\lambda }_1{\lambda }_2...{\lambda }_n$
  
  
• 행렬의 고유값(eigenvalue)이 0이면 행렬식도 0이므로 역행렬이 존재하지 않는다.
  
• 고유값의 곱(행렬식)이 0이 아니라면 행렬은 가역행렬이며 역행렬이 존재한다.
  
  
• 행렬의 대각합(trace)은 행렬의 모든 고유값(eigenvalue)의 합과 같다.