單目相機成像過程

時間 2020-08-17

標籤相機成像過程简体版

原文原文鏈接

單目相機成像過程

單目相機成像過程

01 理想狀況下相機成像模型

在理想狀況下，相機成像模型能夠看做是小孔成像模型：算法


相機成像模型

爲了便於計算，咱們將像平面進行翻轉，它們在數學上是等價的，而且相機硬件會自動幫咱們處理，咱們假設成像平面翻轉到了相機光心的正前方。相機模型以下，其主要包含4個座標系：優化


圖1 相機程序系統中的四大座標系

此外，還有一個歸一化平面，其實際是圖像座標系的等比縮放，也就是當 $f=1$的狀況，主要是便於公式推導，它與圖像座標系是等比縮放關係，只須要乘以 $f$ 便可完成相互轉換。spa


圖2 歸一化平面（座標系）與圖像座標系關係

1）世界座標系 -> 相機座標系


圖3 世界座標系 -> 相機座標系（剛體變換）

假設該點世界座標系爲 $[X_W,Y_W,Z_W]^T$，世界座標系到相機座標系的變換是一個剛體變換，那麼一樣的該點，在相機座標系下的座標 $[X_C,Y_C,Z_C]^T$ 以下：3d

\[\left[ {\begin{array}{*{20}{c}} {{X_c}}\\ {{Y_c}}\\ {{Z_c}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{r_{11}}}&{{r_{12}}}&{{r_{13}}}\\ {{r_{21}}}&{{r_{22}}}&{{r_{23}}}\\ {{r_{31}}}&{{r_{32}}}&{{r_{33}}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{X_W}}\\ {{Y_W}}\\ {{Z_W}} \end{array}} \right] + \left[ {\begin{array}{*{20}{c}} {{T_x}}\\ {{T_y}}\\ {{T_z}} \end{array}} \right] \]

爲了將旋轉矩陣和平移矩陣兩個矩陣形式統一，須要引入齊次座標表示形式：blog

\[\underbrace {\left[ {\begin{array}{*{20}{c}} {{X_C}}\\ {{Y_C}}\\ {{Z_C}}\\ 1 \end{array}} \right]}_{相機座標系} = \underbrace {\left[ {\begin{array}{*{20}{c}} {{R_{3 \times 3}}}&{{T_{3 \times 1}}}\\ 0&1 \end{array}} \right]}_{剛體變換}\underbrace {\left[ {\begin{array}{*{20}{c}} {{X_W}}\\ {{Y_W}}\\ {{Z_W}}\\ 1 \end{array}} \right]}_{世界座標系} \]

2）相機座標系 -> 圖像座標系

從相機座標系 $[X_C,Y_C, Z_C,1]^T$ 到 圖像座標系 $[x,y]^T$（成像平面）的變換是個類似三角形變換，推導以下：圖片


圖4 相機座標系 -> 圖像座標系（類似三角形）

總結：數學

\[{Z_c}\underbrace {\left[ {\begin{array}{*{20}{c}} x\\ y\\ 1 \end{array}} \right]}_{\rm{圖像座標系}} = \underbrace {\left[ {\begin{array}{*{20}{c}} f&0&0&0\\ 0&f&0&0\\ 0&0&1&0 \end{array}} \right]}_{類似三角}\underbrace {\left[ {\begin{array}{*{20}{c}} {{X_C}}\\ {{Y_C}}\\ {{Z_C}}\\ 1 \end{array}} \right]}_{相機座標系} \]

3）圖像座標系 -> 像素座標系

圖像座標系和像素座標系處在同一平面，可是有兩點不一樣：table

座標原點不一樣：圖像座標系，成像平面的中心；像素座標系，成像平面左上角；
單位不一樣：圖像座標系，單位mm，屬於物理單位；像素座標系，單位pixel（$1 \ pixel= dx \ or \ dy \ mm$），日常描述一個像素點都是幾行幾列；

它們之間的轉換關係以下，包含平移與縮放兩個變換：class

總結：基礎

\[\underbrace {\left[ {\begin{array}{*{20}{c}} u\\ v\\ 1 \end{array}} \right]}_{像素座標系} = \underbrace {\left[ {\begin{array}{*{20}{c}} {\frac{1}{{dx}}}&0&{{u_0}}\\ 0&{\frac{1}{{dy}}}&{{v_0}}\\ 0&0&1 \end{array}} \right]}_{平移+縮放}\underbrace {\left[ {\begin{array}{*{20}{c}} x\\ y\\ 1 \end{array}} \right]}_{圖像座標系} \]

4）總結

從世界座標系到像素座標系的轉換關係以下：

世界座標系到相機座標系：

\[\underbrace {\left[ {\begin{array}{*{20}{c}} {{X_C}}\\ {{Y_C}}\\ {{Z_C}}\\ 1 \end{array}} \right]}_{相機座標系} = \underbrace {\left[ {\begin{array}{*{20}{c}} {{R_{3 \times 3}}}&{{T_{3 \times 1}}}\\ 0&1 \end{array}} \right]}_{剛體變換}\underbrace {\left[ {\begin{array}{*{20}{c}} {{X_W}}\\ {{Y_W}}\\ {{Z_W}}\\ 1 \end{array}} \right]}_{世界座標系} \]
相機座標系到圖像座標系：

\[{Z_c}\underbrace {\left[ {\begin{array}{*{20}{c}} x\\ y\\ 1 \end{array}} \right]}_{\rm{圖像座標系}} = \underbrace {\left[ {\begin{array}{*{20}{c}} f&0&0&0\\ 0&f&0&0\\ 0&0&1&0 \end{array}} \right]}_{類似三角}\underbrace {\left[ {\begin{array}{*{20}{c}} {{X_C}}\\ {{Y_C}}\\ {{Z_C}}\\ 1 \end{array}} \right]}_{相機座標系} \]
圖像座標系到像素座標系：

\[\underbrace {\left[ {\begin{array}{*{20}{c}} u\\ v\\ 1 \end{array}} \right]}_{像素座標系} = \underbrace {\left[ {\begin{array}{*{20}{c}} {\frac{1}{{dx}}}&0&{{u_0}}\\ 0&{\frac{1}{{dy}}}&{{v_0}}\\ 0&0&1 \end{array}} \right]}_{平移+縮放}\underbrace {\left[ {\begin{array}{*{20}{c}} x\\ y\\ 1 \end{array}} \right]}_{圖像座標系} \]

將以前全部的變換合併，能夠獲得：

\[{Z_c}\underbrace {\left[ {\begin{array}{*{20}{c}} u\\ v\\ 1 \end{array}} \right]}_{像素座標系} = \underbrace {\left[ {\begin{array}{*{20}{c}} {\frac{1}{{dx}}}&0&{{u_0}}\\ 0&{\frac{1}{{dy}}}&{{v_0}}\\ 0&0&1 \end{array}} \right]}_{03 \ 平移+縮放}\underbrace {\left[ {\begin{array}{*{20}{c}} f&0&0&0\\ 0&f&0&0\\ 0&0&1&0 \end{array}} \right]}_{02\ 類似三角形}\underbrace {\left[ {\begin{array}{*{20}{c}} {{R_{3 \times 3}}}&{{T_{3 \times 1}}}\\ 0&1 \end{array}} \right]}_{01 \ 剛體變換}\underbrace {\left[ {\begin{array}{*{20}{c}} {{X_W}}\\ {{Y_W}}\\ {{Z_W}}\\ 1 \end{array}} \right]}_{世界座標系} \]

將它們相乘後化簡：

\[{Z_c}\underbrace {\left[ {\begin{array}{*{20}{c}} u \\ v \\ 1 \end{array}} \right]}_{像素座標系} = \underbrace {\left[ {\begin{array}{*{20}{c}} {{f_x}}&0&{{u_0}} \\ 0&{{f_y}}&{{v_0}} \\ 0&0&1 \end{array}} \right]}_{M1：內參}\underbrace {\left[ {\begin{array}{*{20}{c}} {{R_{3 \times 3}}}&{{T_{3 \times 1}}} \end{array}} \right]}_{M2：外參}\underbrace {\left[ {\begin{array}{*{20}{c}} {{X_W}} \\ {{Y_W}} \\ {{Z_W}} \\ 1 \end{array}} \right]}_{世界座標系} \]

以上是理想狀況下世界座標系到像素座標系的轉換，而因爲相機制造工藝的緣由，其成像過程當中不免存在着畸變，在後續構建精確的三維重建算法前，咱們要對相機的畸變進行矯正，以提升算法重建的精度，這一步驟也稱爲相機標定。

02 考慮畸變狀況下相機成像模型

相機畸變主要有兩種類型：徑向畸變 和 切向畸變，咱們分別介紹這兩種狀況。

1）徑向畸變

緣由：在相機制造過程當中，很難保證鏡頭的厚度徹底均勻，因爲製造工藝的緣由，一般爲這種狀況爲中間厚、邊緣薄，於是光線在遠離透鏡中心的地方，會發生更大程度的扭曲，這種現象在魚眼相機（桶形畸變）中尤其明顯。

徑向畸變主要有兩種類型：枕型畸變和桶型畸變，示意圖以下：



桶型畸變	枕形畸變

它們能夠由 $k_1,k_2$ 構成的下列數學公式描述：

\[\left[ {\begin{array}{*{20}{c}} {x'}\\ {y'} \end{array}} \right] = (1 + {k_1}{r^2} + {k_2}{r^4} + {k_3}{r^6})\left[ {\begin{array}{*{20}{c}} x\\ y \end{array}} \right] \]

其中：

$r$ 爲曲率半徑，有：$r^2 =x^2 + y^2$；
$k_1,k_2,k_3$ 爲徑向畸變係數；
$x, y$ 爲發生畸變后角點的座標，也就是咱們實際看到的；
$x',y'$ 爲畸變矯正，也就是去除畸變後的正確座標；

注：這裏不管是 $x, y,x',y'$，其均爲歸一化平面上角點的座標。

一般：咱們只用 $k_1,k_2$ 來矯正相機，對於畸變較小的圖像中心區域，主要是 $k_1$ 在起做用，對於畸變較大的圖像邊緣區域，主要是 $k_2$ 在起做用，而對於魚眼相機這類廣角相機，咱們纔會用 $k_3$。須要注意的是，這裏並非用的係數越多，整個矯正結果越精確，咱們應該考慮相機的實際狀況。

2）切向畸變

緣由：切向畸變產生的緣由在於相機在製造過程當中，成像平面與透鏡平面不平行，產生了透視變換。

這種畸變能夠由如下公式描述，它也與距離圖像中心的距離半徑有關：

\[\left[ {\begin{array}{*{20}{c}} x'\\ y' \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {2{p_1}xy + {p_2}\left( {{r^2} + 2{x^2}} \right)}\\ {2{p_2}xy + {p_1}\left( {{r^2} + 2{y^2}} \right)} \end{array}} \right] \]

其中：$p_1,p_2$ 稱爲切向畸變矯正係數，其它的含義與徑向畸變中公式相同。

3）合併考慮畸變

緣由：其實也很簡單，兩種畸變是同時發生在成像過程當中的，發生的緣由也是相互獨立的，並且也都是關於距離的表達式，你彷佛也找不到更好的方式來綜合考慮這兩種偏差，實踐證實，這種合併考慮畸變的狀況效果還不錯。

將徑向畸變和切向畸變合併，只須要將兩個畸變矯正直接加起來便可，公式以下：

\[\left[ {\begin{array}{*{20}{c}} {x'}\\ {y'} \end{array}} \right] = \underbrace {\left( {1 + {k_1}{r^2} + {k_2}{r^4} + {k_3}{r^6}} \right)\left[ {\begin{array}{*{20}{c}} x\\ y \end{array}} \right]}_{徑向畸變} + \underbrace {\left[ {\begin{array}{*{20}{c}} {2{p_1}xy + {p_2}\left( {{r^2} + 2{x^2}} \right)}\\ {2{p_2}xy + p1\left( {{r^2} + 2{y^2}} \right)} \end{array}} \right]}_{切向畸變} \]

其中：

$k_1,k_2,k_3$ 爲徑向畸變係數；
$p_1,p_2$ 爲切向畸變係數；

不過在此以前，咱們特別注意一點，相機畸變現象發生的位置：

世界座標系 -> 相機座標系，剛體變換，不存在畸變現象；
相機座標系 -> 圖像座標系，也就是成像過程，理想狀況下是類似三角形，但實際因爲相機制造、裝配的緣由，成像過程存在畸變現象；
圖像座標系 -> 像素座標系，座標原點、單位不一樣，僅僅平移與縮放，不存在畸變現象；

03 成像過程總結

如今，咱們將這些公式進行整理，假設：

某點世界座標系爲$P(X_W,Y_W,Z_W)$；
對應的實際獲得的像素座標系爲 $P(u,v)$（未矯正的）；
正確的像素座標爲 $P(u',v')$；
假設咱們已知畸變係數 $k_1,k_2,k_3,p_1,p_2$；

那麼從世界座標系 $P(X_W,Y_W,Z_W)$ 到正確的像素座標系 $P(u',v')$ 的推導以下，對於像素座標系下某點 $P(u,v)$，有：

像素座標系 -> 歸一化座標系

這個變換僅僅是平移與縮放，不存在畸變，於是只須要一個逆變換，歸一化座標 $P=(x,y)^T$ 推導以下：

\[\begin{array}{c} \underbrace {\left[ {\begin{array}{*{20}{c}} u\\ v\\ 1 \end{array}} \right]}_{像素座標} = \underbrace {\left[ {\begin{array}{*{20}{c}} {\frac{1}{{dx}}}&0&{{u_0}}\\ 0&{\frac{1}{{dy}}}&{{v_0}}\\ 0&0&1 \end{array}} \right]}_{平移+縮放}\underbrace {\left( {\underbrace {\left[ {\begin{array}{*{20}{c}} x\\ y\\ {1/f} \end{array}} \right]}_{歸一化座標} \times f} \right)}_{圖像座標} \\ \Downarrow \\ \underbrace {\left[ {\begin{array}{*{20}{c}} x\\ y\\ {1/f} \end{array}} \right]}_{歸一化座標} = \underbrace {\left( {{{\left[ {\begin{array}{*{20}{c}} {\frac{1}{{dx}}}&0&{{u_0}}\\ 0&{\frac{1}{{dy}}}&{{v_0}}\\ 0&0&1 \end{array}} \right]}^{ - 1}}\underbrace {\left[ {\begin{array}{*{20}{c}} u\\ v\\ 1 \end{array}} \right]}_{像素座標}} \right)}_{圖像座標}/f \end{array} \]
歸一化座標系（帶畸變的） -> 歸一化座標系（畸變矯正後）

在前一成像過程，也就是相機座標系到歸一化平面透射中，相機發生了畸變，於是咱們須要將實際的歸一化座標 $P=(x,y)^T$ 糾正到理想的無畸變歸一化座標 $P=(x',y')^T$：

\[\left[ {\begin{array}{*{20}{c}} {x'}\\ {y'}\\ {1/f} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {\left( {1 + {k_1}{r^2} + {k_2}{r^4} + {k_3}{r^6}} \right)x + 2{p_1}xy + {p_2}\left( {{r^2} + 2{x^2}} \right)}\\ {\left( {1 + {k_1}{r^2} + {k_2}{r^4} + {k_3}{r^6}} \right)y + 2{p_2}xy + {p_1}\left( {{r^2} + 2{y^2}} \right)}\\ {1/f} \end{array}} \right] \]
歸一化座標系（理想）-> 相機座標系

理想的無畸變歸一化座標 $P=(x',y')$ 到相機座標系，它們是類似三角形關係：

\[{Z_c}\underbrace {\left( {\underbrace {\left[ {\begin{array}{*{20}{c}} {x'}\\ {y'}\\ 1/f \end{array}} \right]}_{歸一化座標系（準確）} \cdot f} \right)}_{圖像座標} = \underbrace {\left[ {\begin{array}{*{20}{c}} f&0&0&0\\ 0&f&0&0\\ 0&0&1&0 \end{array}} \right]}_{類似三角形}\underbrace {\left[ {\begin{array}{*{20}{c}} {{X_C}}\\ {{Y_C}}\\ {{Z_C}}\\ 1 \end{array}} \right]}_{相機座標} \\ \Downarrow \\ \left[ {\begin{array}{*{20}{c}} {{X_c}}\\ {{Y_c}}\\ {{Z_c}}\\ 1 \end{array}} \right] = f \cdot {Z_c} \cdot {\left[ {\begin{array}{*{20}{c}} f&0&0&0\\ 0&f&0&0\\ 0&0&1&0 \end{array}} \right]^{ - 1}}\left[ {\begin{array}{*{20}{c}} {x'}\\ {y'}\\ {1/f} \end{array}} \right] \]
注：這裏 $3 \times 4$ 矩陣的逆是僞逆。
相機座標系 -> 世界座標系

相機座標系到世界座標系，僅僅是以前剛體變換的反變換：

\[\underbrace {\left[ {\begin{array}{*{20}{c}} {{X_C}}\\ {{Y_C}}\\ {{Z_C}}\\ 1 \end{array}} \right]}_{相機座標系} = \underbrace {\left[ {\begin{array}{*{20}{c}} {{R_{3 \times 3}}}&{{T_{3 \times 1}}}\\ 0&1 \end{array}} \right]}_{剛體變換}\underbrace {\left[ {\begin{array}{*{20}{c}} {{X_W}}\\ {{Y_W}}\\ {{Z_W}}\\ 1 \end{array}} \right]}_{世界座標系} \\ \Downarrow \\ \left[ {\begin{array}{*{20}{c}} {{X_W}}\\ {{Y_W}}\\ {{Z_W}}\\ 1 \end{array}} \right] = {\left[ {\begin{array}{*{20}{c}} {{R_{3 \times 3}}}&{{T_{3 \times 1}}}\\ 0&1 \end{array}} \right]^{ - 1}}\left[ {\begin{array}{*{20}{c}} {{X_C}}\\ {{Y_c}}\\ {{Z_c}}\\ 1 \end{array}} \right] \]

因此，咱們只須要將上述的四個公式合併起來便可，像素座標系$P=(u,v)$轉換到世界座標系 $P=(X_W,Y_W,Z_W)$。

04 思考問題

如今的問題是，咱們如何求得這些畸變係數 $k_1,k_2,k_3,p_1,p_2$？獲得這些係數以後，咱們就能創建像素座標系與世界座標系的映射。這個問題能夠由張正友標定法來實現。

對於張正友標定法的原理，略微有些複雜，在下一節推送中，咱們從它的實現開始講起，而後若是大家有興趣，能夠看咱們的拓展閱讀《張正友標定法數學基礎及原理推導》。

先回過頭來看前面的式子，咱們能夠看到，即便考慮了畸變，從像素座標系到世界座標系的轉換，其實仍是一些乘法運算，可是這裏有兩個問題須要你們思考：

1）問題一

對於考慮了畸變的相機模型，世界座標系與像素座標系之間的轉換公式，實際上是存在一個問題的：不能寫成徹底矩陣$x,y$ 的乘法形式。由於相機模型的切向畸變部分包含非線性項 $xy,x^2,y^2$：

有人說，這樣彷佛也沒什麼問題嘛，無非是計算速度慢一點而已，但事情不是這樣的，矩陣方程裏存在着非線性項，並且還有一個加法，咱們那些關於方程組解、求特徵值、正定、半正定、正交這些理論武器，所有都失去做用了。

事實上，一些質量較好的工業相機，切向畸變都是很小的（話說，相機都不許，你拿它作什麼精確的三維重建…），張正友標定法在初始的時候即假設相機不存在徑向畸變（以後會求），也就是 $p_1,p_2$ 都等於零，另外一樣$k3=0$。這樣的好處在於，考慮畸變的相機模型，在初期跟理想模型的差異在於乘以一個常數項，整個式子就能夠寫爲一個單應性矩陣的形式，方便咱們對方程組進行優化：

\[s\tilde m = A\left[ {\begin{array}{*{20}{c}} {{R_{3 \times 3}}}&{{T_{3 \times 1}}} \end{array}} \right]\tilde M \]

其中：