행렬식과 Eigenvalue & Eigenvector

 

 

행렬식(determinant)

행렬식(determinant)은 정사각행렬에 대해서만 정의되고 행렬의 특성을 결정짓는 값이다.
행렬식은 행렬의 가역성, 선형독립성 등을 파악하는 데 중요한 역할을 한다.

- 계산 방법

기본적인 2x2 행렬의 determinant는 다음과 같이 계산할 수 있다. 

$\det \begin{bmatrix} a & b \\ c & d \end{bmatrix} = ad - bc$

3x3 행렬은 다음과 같이 계산한다.

$\det \begin{bmatrix} a & b & c \\ d & e & f \\ g & h & i \end{bmatrix} = a(ei-ef) - b(di -fg) + c(dh - eg)$

일반적인 n x n 행렬은 다음 방법으로 계산할 수 있다.

- Levi-Civita를 이용한 표현

레비-치비타 기호는 행렬식을 아인슈타인 지수표기법으로 표현할 수 있게 해준다.

Levi-Civita 기호는 n개의 첨자를 가지며 각 첨자는 1부터 부터 n까지 정수값을 가질 수 있다.
첨자의 순열에 따라 다음과 같은 값을 가진다.
- 짝순열: 원래 순서에서 짝수 번의 교환으로 만들 수 있는 순열 → +1
- 홀순열: 원래 순서에서 홀수 번의 교환으로 만들 수 있는 순열 → -1
- 중복된 첨자 → 0
예를 들어 $\epsilon _{12}=1, \epsilon_{21}=-1$ 이다

먼저 2 x 2 행렬의 determinant를 Levi-civita 기호로 표현하면 $A_{11}A_{22}-A_{21}A_{12}=\sum_{i,j}\epsilon_{ij}A_{1i}A_{2j}$
2 x 2 행렬이 아닌 n x n 행렬이라면 i와 j가 아닌 $i_{1}$ 부터 $i_{n}$ 까지 생각해볼 수 있다.

$\det(A) = \sum_{i_1,i_2,...,i_n} \epsilon_{i_{1}i_{2}\cdots i_{n}} A_{1i_{1}} A_{2i_{2}} ... A_{ni_{n}}$

여기서 $\epsilon$ 은 순열의 부호를 나타내는 기호이다.

이렇게 n x n 행렬의 determinant를 Levi-Civita 기호로 표현하여 행렬식의 여러 속성을 쉽게 증명할 수 있기도 하다. 또한 이론적인 증명에 유용하다. 다만 실제 행렬식을 계산하는 데에는 비효율적이며 여인수 전개나 다른 수치적 방법이 효율적이다.

- 여인수(cofactor)를 이용한 표현

행렬 A의 i, j 성분에 대한 여인수는 다음과 같이 정의된다.

$a_{ij}$의 여인수: $C_{ij} = (-1)^{i+j} \cdot M_{ij}$
이때 $M_{ij}$는 행렬 A의 i행과 j열을 제외시킨 행렬의 determinant를 뜻한다.

예를 들어 3x3 행렬을 보면 
$A=\begin{bmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & _{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \\ \end{bmatrix} $

$M_{11}=\begin{vmatrix} a_{22} & a_{23} \\ a_{32} & a_{33} \\ \end{vmatrix} = a_{22}a_{33}-a_{23}a_{32}$

여인수 $C_{11}=(-1)^{1+1}M_{11}$

이때 행렬의 어떤 행이나 열에 있는 원소와 해당 원소의 여인수의 곱을 모두 더하여 얻은 수는 항상 같다.
그리고 이를 행렬 A의 determinant라 한다.

결국 행렬 A의 행렬식 determinant는 다음과 같이 표현할 수 있다.

$\det(A) = \sum_{j=1}^{n} a_{ij} C_{ij}$   혹은   $\det(A) = \sum_{i=1}^{n} a_{ij} C_{ij}$

- 행렬식의 성질

1. $\det(AB)=\det(A) \cdot \det(B)$
2. $\det(A^{T}) = \det(A)$
3. $\det(A^{-1}) = \frac{1}{\det(A)}$ (A가 가역 행렬일 때)
4. 행렬 A에서 B로 row operation을 할 때 
   Replacement: $\det(B)=\det(A)$ (다른 행 scaling 후 어떤 행에 더하는 것)
   Interchange: $\det(B)=-\det(A)$ (두 행을 바꾸는 것)
   Scaling(k): $\det(B)=k \cdot \det(A)$
   $ \begin{vmatrix} ka & kb \\ c & d \\ \end{vmatrix} = k \begin{vmatrix} a & b \\ c & d \\ \end{vmatrix}$
   
   즉 한 행 또는 한 열을 다른 행 또는 열의 선형 결합으로 바꿔도 행렬식은 변하지 않음.
5. 삼각행렬의 행렬식은 대각성분의 곱.
6. $\det(A)=0$ 이면 비가역적이다. 
7. $ \begin{vmatrix} a & b+e \\ c & d+f \\ \end{vmatrix} = \begin{vmatrix} a & b \\ c & d \\ \end{vmatrix}+\begin{vmatrix} a & e \\ c & f \\ \end{vmatrix}$ 를 만족한다.

- 기하학적 의미(부피의 변화)

• 2 x 2 행렬에서 행렬식은 행렬의 열벡터가 이루는 평행사변형의 넓이와 같다.
  마찬가지로 3 x 3 행렬에서 행렬식은 행렬의 열벡터가 이루는 육면체의 부피와 같다.
  
  
• 행렬식은 선형 변환을 했을 때 단위넓이(부피)가 얼마나 변하는지 나타낸다. 즉 scale 성분을 의미한다.
  예를들어 행렬 B가 평행사변형 S를 나타낼 때 행렬 A에 의해 선형변환 된다면
  T(S)의 넓이는 (= S의 넓이 $\cdot \det(A)$ ) 가 된다.
  
  
• 또한 $\det(A)$가 양수이면 도형의 방향이 보존되고 음수이면 보존되지 않는다. 
• 행렬식이 0이면 선형 변환이 차원을 축소시킨다. 때문에 역행렬이 존재하지 않는다.

 

adjugate matrix를 통한 역행렬 계산

역행렬은 $\det(A)$와 $\text{adj}(A)$ 로 나타낼 수 있으며 다음과 같다.

역행렬 계산: $A^{-1} = \frac{1}{\det(A)} \text{adj}(A)$ (단 A의 determinant가 0이 아닐때)

이때 adjugate matrix 는 $\text{adj}(A) = C^{T}$ 즉 여인수 행렬의 transpose와 같다. 
앞에서 여인수 행렬의 원소는 $ C_{ij} = (-1)^{i+j} \cdot M_{ij} $ 임을 알았다. 

 

특성방정식

행렬 A의 특성방정식은 다음과 같다.
$\det(A - \lambda I) = 0$
이때 $\lambda$는 행렬의 고유값(eigenvalue)을 의미한다. 

교유값 람다가 존재한다면 $A\mathbf{x}=\lambda \mathbf{x}$ 에서 0이 아닌 해 $\mathbf{x}$ 가 존재한다.
이를 $A\mathbf{x}=(\lambda I )\mathbf{x}$ 처럼 쓸 수 있고 
$(A-\lambda I)\mathbf{x}=0$ 으로 정리할 수 있다. 

위 식에서 0이 아닌 해 nontrivial sol. 이 존재해야 하기에 행렬 $A-\lambda I$는 역행렬이 존재하지 않고
$\det(A-\lambda I)=0$ 이어야 한다. 

Eigenvalue와 Eigenvector

- 정의

행렬 에 대해 다음을 만족하는 $\lambda$ 와 $\mathbf{x}$ 가 존재할 때:
$A \mathbf{x} = \lambda \mathbf{x} $
이를 고유값(eigenvalue)과 고유벡터(eigenvector)라 한다. 

Eigenvector는 행렬 A에 의해 변환될 때 크기만 스케일링 되는 벡터이며
Eigenvalue는 이때의 스케일 팩터이다. 

n x n 행렬에서 eigenvalue는 최대 n개까지 가질 수 있다.

- 성질

1. 행렬 A가 삼각 행렬(upper/lower triangular matrix)이면 대각 원소가 고유값(eigenvalue)이.
2. $\det(A) = \prod \lambda_{i}$   (고유값의 곱은 행렬식과 같음).
3. $\text{tr}(A) = \sum \lambda_{i}$   (고유값의 합은 행렬의 대각합과 같음).
4. $(A-\lambda I)\mathbf{x}=0$ 을 만족하는 $\mathbf{x}$의 전체 집합이 형성하는 공간을 Eigenspace라 한다.
   Eigenspace = {0, eigenvectors}
5. n x n 행렬은 최대 n개의 eigenvalue를 가질 수 있다.
6. eigenvector는 스케일링 되어도 eigenvector 이다.
7. 서로 다른 eigenvalue에 대응하는 eigenvector는 다르며 서로 독립이다.

- 기하학적 의미

• 행렬 A의 고유벡터(eigenvector)는 A에 의한 선형변환에서 방향이 유지되는 벡터이다.
• 고유값(eigenvalue)은 변환 후 스케일링 비율을 나타낸다.
  예를 들어, 2×2 행렬의 고유벡터(eigenvector)를 찾으면 해당 변환이 특정 축을 따라 어떻게 변하는지 알 수 있다.

 

행렬식과 eigenvalue의 관계

• 행렬식(determinant)은 행렬의 모든 고유값(eigenvalue)의 곱과 같다.
  만약 A의 고유값이 $ \lambda_{1} \lambda_{2} ... \lambda_{n} $ 이라면 
  $\det(A) = \lambda_{1} \lambda_{2} ... \lambda_{n}$
  
  
• 행렬의 고유값(eigenvalue)이 0이면 행렬식도 0이므로 역행렬이 존재하지 않는다.
  
• 고유값의 곱(행렬식)이 0이 아니라면 행렬은 가역행렬이며 역행렬이 존재한다.
  
  
• 행렬의 대각합(trace)은 행렬의 모든 고유값(eigenvalue)의 합과 같다.