計算機視覺 --圖像多視圖幾何

文章目錄

• 1. 基本概念
• 1.1 對極幾何
• 1.2 基礎矩陣
• 1.3 8點法求基礎矩陣
• 2. 實驗內容
• 2.1 8點法
• 2.2 7點法
• 3.實驗總結

1. 基本概念

1.1 對極幾何

對極幾何是指空間中的某一點和它的投影在不同座標系下的表示。

兩個白色平面爲相機成像的像平面， $x$x爲空間中的任意一點，從圖中可以看出， $X$X 在左邊像平面的投影爲 $x_{1}$x1​，在右邊像平面的投影爲 $x_{2}$x2​, $C_{1}$C1​和 $C_{1}$C1​分別是兩個相機的光心，而且 $C_{1}$C1​, $C_{2}$C2​, $x_{1}$x1​,x, $x_{2}$x2​在同一平面上，將該平面命名爲 $π$π,該平面有一條基線，爲線 $C_{1}$C1​ $e_{1}$e1​ $e_{2}$e2​ $C_{2}$C2​。包含基線的平面叫做對極平面，基線與像平面的交點爲對極點（ $e_{1}$e1​, $e_{2}$e2​），對極平面和像平面的交點稱爲對極線（ $l_{1}$l1​， $l_{2}$l2​）。

1.2 基礎矩陣

基礎矩陣所包含的參數由相機內參（K），兩個相機外參（R,T），可以用來描述圖像的對應關係，也就是說我們知道了某個點在一個像平面的座標，可以知道它在另一個像平面的座標。
$p$p, $p^{'}$p′是x在 $C$C, $C^{'}$C′兩個像平面的相對座標，則：
$p=Rp^{'}+T$p=Rp′+T
其中，
$x=Kp$x=Kp $x^{'}=K^{'}p{'}$x′=K′p′ $p=K^{-1}x$p=K−1x $p^{'}=K^{'-1}x^{'}$p′=K′−1x′
根據三線共面，有：
$(p-T)^{T}(T×p)=0$(p−T)T(T×p)=0
→ $(R^{T}p^{'})^{T}(T×p)=0$(RTp′)T(T×p)=0
令 $T×p=Sp$T×p=Sp
$S=\begin{bmatrix}0 &-T_{z} &T_{y} \\ T_{z} & 0 &-T_{x} \\ -T_{y} & T_{x} &0 \end{bmatrix}$S=⎣⎡​0Tz​−Ty​​−Tz​0Tx​​Ty​−Tx​0​⎦⎤​
→ $(R^{T}p^{'})^{T}(Sp)=0$(RTp′)T(Sp)=0 $(p^{'T}R)(Sp)=0$(p′TR)(Sp)=0 $p^{'T}Ep=0$p′TEp=0
其中E爲本質矩陣，描述的是空間中點在兩個座標系中的對應關係。
同理， $K,K^{'}$K,K′分別爲兩個相機的內參。則

$p=K^{-1}x$p=K−1x, $p^{'}=K^{'-1}x^{'}$p′=K′−1x′

→ $(K^{'-1}x^{'})^{T}E(K^{-1}x)=0$(K′−1x′)TE(K−1x)=0
→ $x^{'T}K^{'-T}EK^{-1}x=0$x′TK′−TEK−1x=0
→ $x^{'T}Fx=0$x′TFx=0
F即爲基礎矩陣，描述了空間中的點在兩個像平面中的座標對應關係。

1.3 8點法求基礎矩陣

步驟：

1. 導入兩幅圖像，提取圖像的特徵；
2. 連接兩幅圖像的特徵
3. 去除錯配點（RANSAC）
4. 估算基礎矩陣

基礎矩陣F定義爲 $x^{T}Fx^{'}=0$xTFx′=0
設任意兩幅圖像中的匹配點 $x$x， $x^{'}$x′，令 $x=(u,v,1)^{T}$x=(u,v,1)T, $x^{'}=(u^{'},v^{'},1)^{T}$x′=(u′,v′,1)T,基礎矩陣是一個3*3秩爲2的矩陣，記爲
$F=\begin{bmatrix}f_{11} & f_{12} &f_{13} \\ f_{21} & f_{22} &f_{23} \\ f_{31}& f_{32} & f_{33}\end{bmatrix}$F=⎣⎡​f11​f21​f31​​f12​f22​f32​​f13​f23​f33​​⎦⎤​
有相應方程： $uu^{'}f_{11}+uv^{'}f_{12}+uf_{13}+vu^{'}f_{21}+vv^{'}f_{22}+vf_{23}+u^{'}f_{31}+v^{'}f_{32}+f_{33}=0$uu′f11​+uv′f12​+uf13​+vu′f21​+vv′f22​+vf23​+u′f31​+v′f32​+f33​=0
則：

上述求解後F不一定會滿足秩=2的約束，因此還需要在F基礎上加以約束。
令 $F=UΣ V^T$F=UΣVT,則：
$Σ =\begin{bmatrix}\sigma_1 & 0 & 0\\ 0&\sigma_2 &0 \\ 0&0 & \sigma_3\end{bmatrix}$Σ=⎣⎡​σ1​00​+v′f32​+f33​=0
則：

上述求解後F不一定會滿足秩=2的約束，因此還需要在F基礎上加以約束。
令 $F=UΣ V^T$F=UΣVT,則：
$Σ =\begin{bmatrix}\sigma_1 & 0 & 0\\ 0&\sigma_2 &0 \\ 0&0 & \sigma_3\end{bmatrix}$Σ=⎣⎡​σ1​00​0σ2​0​00σ3​​⎦⎤​令 + f33​=0
則：

上述求解後F不一定會滿足秩=2的約束，因此還需要在F基礎上加以約束。
令 $F=UΣ V^T$F=UΣVT,則：
$Σ =\begin{bmatrix}\sigma_1 & 0 & 0\\ 0&\sigma_2 &0 \\ 0&0 & \sigma_3\end{bmatrix}$Σ=⎣⎡​σ1​00​0σ2​0​00σ3​​⎦⎤​令 $Σ^{'}=\begin{bmatrix}\sigma_1 & 0 & 0\\ 0&\sigma_2 &0 \\ 0&0 & 0\end{bmatrix}$ΣT,則：
$\mathrm{\Sigma }=[\begin{array}{ccc}{\sigma }_1& 0& 0\\ 0\end{array}$