[컴퓨터 비전] 카메라 모델과 파라미터의 이해

 

Euclidean coordinate vs Homogeneous coordinate

(평행이동 변환 예시)

유클리드 좌표 상 2차원의 한 point는 실수 쌍 (x, y)로 표현된다.
Homogeneous 좌표는 쉽게 말해 하나의 좌표를 추가해 (x,y,1) 와 같이 표현하는 것이다.

homogeneous 좌표에서 scale은 무시되기에
(x,y,1)과 (2x,2y,2)는 같은 point를 의미하며 더 나아가 (kx,ky,k) 또한 같은 point를 표현한다. 

때문에 역으로 유클리드 좌표를 구하기 위해서는 (x,y,w) 형태의 좌표를
끝 자리 수인 1로 나누어 (x/w,y/w,1) 형태로 만들고 유클리드 좌표인 (x/w,y/w)를 도출할 수 있다.

이처럼 2차원 공간에 대한 좌표를 투영(사영) 공간(projective space)?으로 확장시킬 수 있따.
유클리드 공간 $\mathbb{R}$의 point를 homogeneous vectors로 표현함으로써 투영 공간 $\mathbb{P}$으로 확장할 수 있다.

2차원 투영(사영) 공간의 무한대에 있는 point는 line을 형성함을 알 수 있다. (이는 line at infinity 로 불린다.)
3차원 공간에서는 평면을 형성할 것이다. 

 컴퓨터 비전에서 투영(사영) 공간은 실제 세계를 표현하는 방법으로 사용된다. 
이미지에서는 실제 세계를 2차원으로 투영함으로써 

평행이동 변환은 유클리드 좌표계에서 행렬로 표현하기 어렵지만 Homogeneous 좌표계에서는 행렬로 표현할 수 있다.
2차원의 한 point를 예시로 들면 유클리드 좌표에서는 (x,y), Homogeneous 좌표에서는 (x,y,1)이라 할 수 있다.
동차 좌표에서 평행이동을 행렬곱으로 표현할 수 있고 평행이동 행렬은 다음과 같다.

$T=\left[\begin{array}{ccc}1& 0& t_x\\ 0& 1& t_y\\ 0& 0& 1\end{array}\right]$

---

Homogeneous coordinate에서의 직선의 방정식

일반적으로 직선의 방정식은 ax+by+c=0 으로 나타낼 수 있다.
homogeneous좌표에서 직선은 2차원 동차 좌표계에서 직선은 ax+by+cw=0 이며
좌표(x,y,w)가 만족해야하는 직선인 것이다.

혹은 $\mathbf{l}=[a,b,c{]}^{\mathrm{\top }}$ 이고 $\mathbf{x}=[x,y,w{]}^{\mathrm{\top }}$ 이라면 $l^{\mathrm{\top }}\mathbf{x}=0$ 과 같이 직선을 표현할 수 있다.
$[a,b,c{]}^{\mathrm{\top }}$로 표현할 수 있다. 
이와 같이 직선을 표현하면 아래처럼 두 직선의 교차점 등의 연산을 할 수 있다.

 

- 두 직선의 교차점

두 직선의 교차점은 다음과 같이 구할 수 있다.

$l_1=(a_1,b_1,c_1)$ 과 $l_2=(a_2,b_2,c_2)$에서

$p=l_1\times l_2$

X 는 벡터의 외적을 의미하며 두 직선의 cross product를 구하면

$p=\left[\begin{array}{c}{b}_{1}c2-b_2{c}_1\\ a_2{c}_1-a_1{c}_2\\ a_1{b}_2-a_2{b}_1\end{array}\right]$

이유는 $l{1}^{\mathrm{\top }}(l1\times l2)=0,l{2}^{\mathrm{\top }}(l1\times l2)=0$

- 두 점을 지나는 직선

반대로 두 점을 지나는 직선은
두 점의 cross product로 구할 수 있다. 

$l={\mathbf{x}}_1\times {\mathbf{x}}_2$

 

- 무한대 점

$w=0$인 점을 의미하며 즉 해당 point는 $p=(x,y,0)$ 으로 표현한다. 
유클리드 좌표계로 변환할 때 w로 나누는데 이 경우에는 무한대로 가기때문에
유클리드 좌표에서 무한대에 위치한다고 볼 수도 있다. 

예를 들어서 평행선의 교차점을 외적을 통해 구할 때
위와 같은 무한대의 점이 나오게 되는데 평행선은 무한히 먼 곳에서 교차한다고 해석할 수 있다.

---

핀홀 카메라 모델

핀홀 카메라 모델은 카메라의 이미지 형성과정을 단순화한 모델로
3차원 공간의 점을 이상적인 핀홀 카메라의 이미지 평면에 투영하는 수학적 관계를 설명한다.

이해를 위한 구성으로는

1. 핀홀: 빛이 통과하는 구멍으로 모든 빛이 해당 점(핀홀)을 지난다.
2. 이미지평면: 빛이 핀홀을 통과해 이미지가 형성되는 평면이다.
3. 초점거리(focal length): 핀홀과 이미지 평면 사이 거리이다.

가 있다.

핀홀카메라 모델은 이상적인 모델이기에 실제 세계에 적용하기에는 한계가 있다.

• 실제 카메라는 렌즈를 사용하지만 이 모델에는 렌즈가 없어 왜곡을 고려하지 않는다.
• 핀홀이 작으면 빛의 회절이 발생하지만 이를 무시한다.
• 초점 거리가 

 

- 카메라 투영 과정

- Euclidean coordinate

핀홀(centre of projection)을 유클리드 좌표계의 원점이라 생각해보자. 

보통 생각하는 핀홀 카메라는 핀홀을 지나 상이 거꾸로 맺히지만
image plane을 광선이 초점을 지나기 전에 위치시켰다.
때문에 아래 그림처럼 반전이 되지 않은 상으로 생각할 수 있다.

우리에게 익숙한 유클리드 좌표계로 생각한다면..
3차원 공간의 점(X,Y,Z)은 image plane의 $(f\frac{X}{Z},f\frac{Y}{Z})$ 가 된다.
이렇게 유클리드 3차원 공간 ${\mathbb{R}}^3$을 유클리드 2차원 공간 ${\mathbb{R}}^2$ 으로 매핑할 수 있었다. 

The centre of projection is called the camera centre. It is also known as the optical
centre. The line from the camera centre perpendicular to the image plane is called the
principal axis or principal ray of the camera, and the point where the principal axis
meets the image plane is called the principal point. The plane through the camera
centre parallel to the image plane is called the principal plane of the camera.

---

- Homogeneous coordinate

3차원에서 2차원으로 투영을 효과적으로 계산하기 위해서 homogeneous coordinate를 도입한다.
2차원은 z축이 추가되어 3차원 벡터 형태처럼 보이며, 3차원 벡터에도 한 차원을 추가한다. 

동차 좌표계 (Homogeneous Coordinates)를 사용하면
행렬곱을 통한 선형 매핑으로 매우 쉽게 표현할 수 있다.

가장 기초적인 핀홀 카메라 모델은 다음과 같은 행렬곱으로 쓸 수 있다.
3차원에 2차원으로의 투영을 다음과 같이 표현할 수 있다.
$\mathbf{x}=\mathtt{\text{P}}\mathbf{X}$
이를 $x=f\cdot \frac{X}{Z},y=f\cdot \frac{Y}{Z}$ 가 나오도록 아래처럼 쓸 수 있고

$\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)\mapsto \left(\begin{array}{c}fX\\ fY\\ Z\end{array}\right)=\left[\begin{array}{cccc}f& & & 0\\ & f& & 0\\ & & 1& 0\end{array}\right]\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)$

$\mathbf{x}=\mathtt{\text{P}}\mathbf{X}$에서 $\mathtt{\text{P}}$ 를 camera projection matrix 라 한다. ($\mathtt{\text{P}}=diag(f,f,1)[I|0]$)

---

p 점이 축에 있지 않다면?   

• 처음 핀홀카메라를 설명할 때 이미지 평면의 원점과 카메라 핀홀(원점)이 같은 축에 있다고 가정했다.
  하지만 아래 사진처럼 p 점이 $p_x,p_y$ 에 위치한다면?
  
  즉 카메라 좌표계와 이미지평면의 좌표계가 다르다.

• $\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)\mapsto \left(\begin{array}{c}fX+Z{p}_x\\ fY+Z{p}_y\\ Z\end{array}\right)=\left[\begin{array}{cccc}f& & p_x& 0\\ & f& p_y& 0\\ & & 1& 0\end{array}\right]\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)$

---

camera matrix의 일반화

또한 실세계(World) 좌표와 카메라 좌표가 다르기 때문에 변환이 필요하다.

• 기존의 $\mathbf{x}=\mathtt{\text{P}}\mathbf{X}$ 에서 $\mathbf{X}$ 이 아닌 ${\mathbf{X}}_{cam}$ 으로 볼 수 있다.
• 즉 우측 World 좌표에서의 좌표를 회전과 이동 변환으로 카메라 좌표축으로 변환하고 
  투영 matrix가 필요하다.
  • ${\mathbf{X}}_{cam}=\left[\begin{array}{cc}\mathtt{\text{R}}& -\mathtt{\text{R}}\widetilde{\mathtt{\text{C}}}\\ 0& 1\end{array}\right]\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)=\left[\begin{array}{cc}\mathtt{\text{R}}& -\mathtt{\text{R}}\widetilde{\mathtt{\text{C}}}\\ 0& 1\end{array}\right]\mathbf{X}$ 으로 나타낼 수 있으
• 즉 ①카메라, ②이미지, ③월드 좌표계가 다른 것을 전부 고려하면 다음과 같은 식을 도출해낼 수 있다.
  
  $x=\mathtt{\text{K}}[I|0]{\mathbf{X}}_{cam}=\left[\begin{array}{ccc}f& 0& p_x\\ 0& f& p_y\\ 0& 0& 1\end{array}\right][I|0]{\mathbf{X}}_{cam}=\left[\begin{array}{ccc}f& 0& p_x\\ 0& f& p_y\\ 0& 0& 1\end{array}\right][I|0]\left[\begin{array}{cc}\mathtt{\text{R}}& -\mathtt{\text{R}}\widetilde{\mathtt{\text{C}}}\\ 0& 1\end{array}\right]\mathbf{X}$ 
  
  
• 다시 보면 matrix  $\mathtt{\text{K}}=\left[\begin{array}{ccc}f& 0& p_x\\ 0& f& p_y\\ 0& 0& 1\end{array}\right]$ 이 image to image Transformation을 수행하며 내부 파라미터(intrinsic parameter)라 한다.

---

외부 파라미터 extrinsic parameter

내부파라미터 뒤에 있는 행렬은 다음과 같이 쓸 수도 있다.

$x=\left[\begin{array}{ccc}f& 0& p_x\\ 0& f& p_y\\ 0& 0& 1\end{array}\right][I|0]\left[\begin{array}{cc}\mathtt{\text{R}}& -\mathtt{\text{R}}\widetilde{\mathtt{\text{C}}}\\ 0& 1\end{array}\right]\mathbf{X}=\left[\begin{array}{ccc}f& 0& p_x\\ 0& f& p_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}\mathtt{\text{R}}& -\mathtt{\text{R}}\mathtt{\text{C}}\end{array}\right]\mathbf{X}$

 $\left[\begin{array}{cc}\mathtt{\text{R}}& -\mathtt{\text{R}}\mathtt{\text{C}}\end{array}\right]$ 행렬은 World to Camera Transformation을 수행하며 외부 파라미터(extrinsic parameter)라 한다.

카메라 파라미터 K[R|-RC] 는 $\mathtt{\text{K}}[\mathtt{\text{R}}|\mathtt{\text{t}}]$ 로 쓸 수도 있고
여기서 외부 파라미터 행렬(3 x 4)는 $\mathtt{\text{R}}$과 $\mathtt{\text{t}}$ 로 볼 수 있는데 R은 3D rotation, t는 3D translation을 의미한다.
$[R|t]=\left[\begin{array}{cccc}{r}_1& r_2& r_3& t_1\\ r_4& r_5& r_6& t_2\\ r_7& r_8& r_9& t_3\end{array}\right]$ 

---

Calibration (DLT, Zhang’s method)

카메라의 파라미터를 구하는 과정을 Geometry Calibration이라 한다.

 

예를 들어 점들의 집합 ${\mathbf{x}}_i$와 ${\mathbf{x}}_i^{\prime }$의 대응에서 2차원 사영변환을 추정할 수 있다. 
각 $i$에 대해 $H{\mathbf{x}}_i={\mathbf{x}}_i^{\prime }$가 되도록 3 x 3 행렬 H를 계산하는 것이다. 

필요한 변수의 수

matrix H를 구하기 위해 필요한 대응점 ${\mathbf{x}}_i\leftrightarrow {\mathbf{x}}_i^{\prime }$쌍의 개수를 생각해야 한다. 

DoF(Degrees of Freedom) 자유도라고 부르며 Transform 시 필요한 독립변수의 수 
translation 의 DoF는 2
이동 후 회전 3
이동,회전,축소 4
affine 6
projective 8

2차원 변환은 8의 자유도를 가진다. 첫 번째 점은 두번 째 이미지에서 자유도 2를 가진다? 때문에 H를 결정하려면 4개의 점 대응이 필요하다

---

- Direct Linear Transformation (DLT)

각 대응점 ($X_i,Y_i,Z_i)\leftrightarrow (x_i,y_i)$은 다음 두 방정식을 생성한다.

카메라 투영 행렬 3 x 4 크기로 $\mathtt{\text{P}}=\left[\begin{array}{cccc}{p}_{11}& p_{12}& p_{13}& p_{14}\\ p_{21}& p_{22}& p_{23}& p_{24}\\ p_{31}& p_{32}& p_{33}& p_{34}\end{array}\right]$ 이기에 

$x_i=\frac{p_{11}{X}_i+p_{12}{Y}_i+p_{13}{Z}_i+p_{14}}{p_{31}{X}_i+p_{32}{Y}_i+p_{33}{Z}_i+p_{34}}$, $y_i=\frac{p_{21}{X}_i+p_{22}{Y}_i+p_{33}{Z}_i+p_{24}}{p_{31}{X}_i+p_{32}{Y}_i+p_{33}{Z}_i+p_{34}}$  

$x_i(p_{31}{X}_i+p_{32}{Y}_i+p_{33}{Z}_i+p_{34})=p_{11}{X}_i+p_{12}{Y}_i+p_{13}{Z}_i+p_{14}$
$y_i(p_{31}{X}_i+p_{32}{Y}_i+p_{33}{Z}_i+p_{34})=p_{21}{X}_i+p_{22}{Y}_i+p_{33}{Z}_i+p_{24}$

여기서 i~n 까지 모든 대응점을 넣고 결합하면
$A=\left[\begin{array}{cccccccccccc}{X}_1& Y_1& Z_1& 1& 0& 0& 0& 0& -x_1{X}_1& -x_1{Y}_1& -x_1{Z}_1& -x_1\\ 0& 0& 0& 0& X_1& Y_1& Z_1& 1& -y_1{X}_1& -y_1{Y}_1& -y_1{Z}_1& -y_1\\ ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮& ⋮\\ X_n& Y_n& Z_n& 1& 0& 0& 0& 0& -x_n{X}_n& -x_n{Y}_n& -x_n{Z}_n& -x_n\\ 0& 0& 0& 0& X_n& Y_n& Z_n& 1& -y_n{X}_n& -y_n{Y}_n& -y_n{Z}_n& -y_n\end{array}\right],\mathbf{p}=\left[\begin{array}{c}{p}_{11}\\ p_{12}\\ p_{13}\\ p_{14}\\ p_{21}\\ p_{22}\\ p_{23}\\ p_{24}\\ p_{31}\\ p_{32}\\ p_{33}\\ p_{34}\end{array}\right]$

$A\mathbf{p}=0$ 임을 이용하여 
행렬 A에 SVD를 적용하여 $A=U\sum V^T$

V의 마지막 열이 최소 특이값에 대응하는 해 $\mathbf{p}$ 이다. 
$\mathbf{p}$ 를 행렬 $\mathbf{P}$로 재구성한다. 

SVD(Singular Value Decomposition)
특이값 분해 방법?
m x n 행렬 A가 있을 
$A=U\sum V^T$ 에서 U (m x m)와 V (n x n)는 직교행렬이고 $\sum$ (m x n)대각행렬이다.
때문에 Ax는 x를 $V^T$에 의해 회전시키고, $\sum$로 스케일을 조정한 다음, 다시 U로 회전시키는 것이다.

$A^{T}A$ 의 고유벡터가 V의 열벡터
$A{A}^T$ 의 고유벡터가 U의 열벡터
고유값의 제곱근이 $\sum$의 특이값이다. 

V의 마지막 열이 $\sum$ 에서 0에 가장 가까운 특이값에 대응한다.

구한 행렬 $\mathbf{P}$에서 K와 R과 C를 구해야한다.
$P=K[R|-RC]$ 이기에 =[H|h] 로 생각해보자(H=KR 이고 h=-KRC)
그러면 $H^{-1}=(KR{)}^{-1}=R^{-1}{K}^{-1}=R^{\mathrm{\top }}{K}^{-1}$

이전에 설명했다시피 R은 rotation matrix이고 
QR 분해로 $\mathbf{P}$를 $R^{\mathrm{\top }},K^{-1}$로 분해할 수 있다. 

- QR분해란?

[선형대수] Gram-Schmidt process와 QR 분해

 

2차원에서 2차원으로의 대응에서 $\mathtt{\text{H}}$ 를 결정하기 위한 가장 간단한 선형 알고리즘이다.
변환은 ${\mathbf{x}}_i^{\prime }=\mathtt{\text{H}}{\mathbf{x}}_i$ 라 할 수 있다. 
(같은 벡터가 아닌 방향이 같은 것이다)

matrix H 를 다음과 같이 표기할 수도 있다.

$\mathtt{\text{H}}=\left[\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right]=\left[\begin{array}{c}{h}^{1\mathrm{\top }}\\ h^{2\mathrm{\top }}\\ h^{3\mathrm{\top }}\end{array}\right]$ 이고 $\mathtt{\text{H}}{\mathbf{x}}_i=\left(\begin{array}{c}{h}^{1\mathrm{\top }}{\mathbf{x}}_i\\ h^{2\mathrm{\top }}{\mathbf{x}}_i\\ h^{3\mathrm{\top }}{\mathbf{x}}_i\end{array}\right)$

이때 조금 헷갈리는데 ${\mathbf{h}}^{1\mathrm{\top }}$가 $\mathtt{\text{H}}$의 1번째 행이다.
때문에 ${\mathbf{h}}^1$은 $\left(\begin{array}{c}{h}_1\\ h_2\\ h_3\end{array}\right)$ 을 의미한다.

1. 방정식 설정

${\mathbf{x}}_i^{\prime }=(x_i^{\prime },y_i^{\prime },z_i^{\prime }{)}^{\mathrm{\top }}$로 표기하면 벡터 외적을 다음과 같이 표기할 수 있다.  

${\mathbf{x}}_i^{\prime }\times \mathtt{\text{H}}{\mathbf{x}}_i=\left(\begin{array}{c}{y}_i^{\prime }{h}^{3\mathrm{\top }}{\mathbf{x}}_i-{\omega }_i^{\prime }{h}^{2\mathrm{\top }}{\mathbf{x}}_i\\ {\omega }_i^{\prime }{h}^{1\mathrm{\top }}{\mathbf{x}}_i-x_i^{\prime }{h}^{3\mathrm{\top }}{\mathbf{x}}_i\\ x_i^{\prime }{h}^{2\mathrm{\top }}{\mathbf{x}}_i-y_i^{\prime }{h}^{1\mathrm{\top }}{\mathbf{x}}_i\end{array}\right)$

~ 이므로 ??? 다음과 같은 세 개의 방정식을 얻을 수 있다.

$\left[\begin{array}{ccc}{0}^{\mathrm{\top }}& -{\omega }_i^{\prime }{\mathbf{x}}_i^{\mathrm{\top }}& y_i^{\prime }{\mathbf{x}}_i^{\mathrm{\top }}\\ {\omega }_i^{\prime }{\mathbf{x}}_i^{\mathrm{\top }}& 0^{\mathrm{\top }}& -x_i^{\prime }{\mathbf{x}}_i^{\mathrm{\top }}\\ -y_i^{\prime }{\mathbf{x}}_i^{\mathrm{\top }}& x_i^{\prime }{\mathbf{x}}_i^{\mathrm{\top }}& 0^{\mathrm{\top }}\end{array}\right]\left(\begin{array}{c}{\mathbf{h}}^1\\ {\mathbf{h}}^2\\ {\mathbf{h}}^3\end{array}\right)=0$

앞의 행렬은 3 x 9 행렬이고 $\mathbf{h}$는 9x1 벡터이다?

방정식이 세 개지만 두 개만 선형 독립이기에 H 원소에 대한 방정식 두 개를 얻을 수 있다. 이후 방정식은 다음과 같다.
이 행렬은 2 x 9 크기를 가지며 matrix $A_i$라 하겠다. 

$\left[\begin{array}{ccc}{0}^{\mathrm{\top }}& -{\omega }_i^{\prime }{\mathbf{x}}_i^{\mathrm{\top }}& y_i^{\prime }{\mathbf{x}}_i^{\mathrm{\top }}\\ {\omega }_i^{\prime }{\mathbf{x}}_i^{\mathrm{\top }}& 0^{\mathrm{\top }}& -x_i^{\prime }{\mathbf{x}}_i^{\mathrm{\top }}\end{array}\right]\left(\begin{array}{c}{h}^1\\ h^2\\ h^3\end{array}\right)=0$

2. 해법
점 대응쌍 네 개에서 연립방정식을 풀어야하며 trivial sol. 인 $\mathbf{h}=0$에 관심이 없기에 0이 아닌 해를 찾아야 한다.

1. 위 처럼 행렬 $A_i$ 를 만든다.
2. 대응되는 쌍이 n개라면 n개의 2 x 9 행렬 $A_i$를 모아 하나의 2n x 9 행렬 A를 만든다.
3. A의 SVD를 구한다. 가장 작은 특이값에 해당하는 단위 특이 벡터가 해 $\mathbf{h}$가 된다.
   ($\mathtt{\text{A}}=UD{V}^T$이며 $\mathbf{h}$ 는 마지막 행이다???
4. $\mathbf{h}$ 에서 $\mathtt{\text{H}}$ 행렬로 재구성한다.

 

 

---

- Zhang’s method

앞서 DLT에서는 내부 파라미터와 외부 파라미터 모두 구할 수 있었다. 
이번에 알아볼 Zhang's method에서는 5개의 파라미터만 구할 수 있다.

이 방법에서는 체커보드를 이용해 캘리브레이션을 진행하는데 체커보드 평면을 z=0인 평면이라 가정한다. 
때문에 체커보드 위의 모든 point의 z좌표가 0이며 외부파라미터 matrix의 3번째 열을 삭제할 수 있다. 

$x=\left[\begin{array}{ccc}f& 0& p_x\\ 0& f& p_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}{r}_1& r_2& r_3& t_1\\ r_4& r_5& r_6& t_2\\ r_7& r_8& r_9& t_3\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]\to \left[\begin{array}{ccc}f& 0& p_x\\ 0& f& p_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}{r}_1& r_2& t_1\\ r_4& r_5& t_2\\ r_7& r_8& t_3\end{array}\right]\left[\begin{array}{c}X\\ Y\\ 1\end{array}\right]$

이 식을 해결하기위해 DLT와 같은 과정으로 matrix를 추정한다.
각 point 당 2개의 선형방정식이 만들어지기에 파라미터를 추정하기 위해서는 
최소 4개의 point가 필요하다. 

DLT 방법처럼 파라미터를 구하고 마찬가지로 분해를 해야 3 x 3 행렬 K를 알아낼 수 있다.
방법은 우선 H=K[r1, r2, t] 형태에 K^{-1} 을 곱한다.
$[r_1,r_2,t]=K^{-1}H=K^{-1}[h_1,h_2,h_3]$

$\to r1=K^{-1}{h}_1,r2=K^{-1}{h}_2$

r1 r2는 orthonormal basis 이므로 아래 식을 만들 수 있다.
$r_1^{\mathrm{\top }}{r}_2=0$ 이므로 $h_1^T{K}^{-\mathrm{\top }}{K}^{-1}{h}_2=0$

r1과 r2의 크기가 1이므로 $h_1^T{K}^{-T}{K}^{-1}{h}_1-h{2}^T{K}^{-T}{K}^{-1}{h}_2=0$

이 식들에서 $K^{-T}{K}^{-1}$ 을 matrix B 라고 정의하면
$h_1^{T}B{h}_2=0$
$h_1^{T}B{h}_1-h_2^{T}B{h}_2=0$

$A{A}^T$와 같은 형태는 Cholesky decomposition 으로 분해할 수 있는데 이 방법을 쓰기 위해서는 우선 B부터 구해야한다. 
Vb=0 을 구성하고 이를 구하기 위해 여러 이미지가 필요하다.
여러 이미지로 해당 식을 구성하고 Trivial sol을 갖지 않도록 b의 크기가 1이라는 조건을 추가한다.
현실에서 측정에서 노이즈를 최소화하기 위해 square 에러를 최소화 하는 해를 찾아야한다.
이는 다음과 같다.

b*= arg min ||Vb|| with ||b||=1

DLT와 같이 풀고 B를 얻은 후 내부 파라미터를 구할 수 있다.