立體視覺 之 三個座標系

  計算機視覺中，經常使用的有三個座標系：圖像座標系、相機座標系和世界座標系。

  它們之間的關係，能夠經過三個變換來表示：仿射變換，投影變換，剛體變換。這三個變換是三維重構幾何框架的基礎。

  以下所示，經過這三個變換，可將三維空間中的點座標 (Xw, Yw, Zw)，與二維圖像中的像素座標 (u, v) 對應起來。

   

1  圖像座標系

  圖像座標系，是在像平面內，以二維圖像爲基準所創建的座標系。根據單位的不一樣，可分爲 像素座標 (單位 = 像素個數) 和 物理尺寸座標 (單位 = mm)

1.1  分類

  像素座標 (u, v) 中，原點 爲圖像左上角點，座標軸 爲 u 軸 和 v 軸，表示物體所在的行數和列數

  物理尺寸座標 (x, y) 中，原點 爲圖像的主點，也即光軸與像平面的交點，座標軸 爲 x 軸 (平行 u 軸) 和 y 軸 (平行 v 軸)，表示物體的尺寸大小

     

1.2  仿射變換

　當相機調整好焦距後，相機透鏡中心點到像平面的距離是固定的，此時，像平面內每一個像素的尺寸大小也變成了固定值。

    假設每一個像素在 x 軸和 y 軸 方向上的物理尺寸分別爲 dx 和 dy，則在忽略相機成像畸變的狀況下，像素座標和物理尺寸座標的轉換關係以下：

　$\begin{cases} u = \dfrac{x}{d_{x}} + u_{0} \\ v = \dfrac{y}{d_{y}} + v_{0} \end{cases} $ 

　二者的齊次座標轉換關係爲：

   $\begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = \begin{bmatrix} \dfrac{1}{d_{x}} & 0 & u_{0} \\ 0 & \dfrac{1}{d_{y}} & v_{0} \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} x\\ y \\ 1 \end{bmatrix} $

   這樣，就創建了圖像中，像素座標和物理尺寸座標之間的對應關係。

 

2  相機座標系

  相機座標系 $(Xc, Yc, Zc)$中，原點 爲相機透鏡的中心，座標軸 Xc 軸與 x 軸平行，Yc 軸與 y 軸平行，Zc 軸與相機光軸重合

2.1  小孔成像　

  相機是三維物體和所成二維圖像之間的一種映射，經常使用的小孔成像模型，以下圖所示：

    

2.2  投影變換

    設相機的焦距爲 f，則根據小孔成像模型，可知相機座標系下空間點 $(Xc, Yc, Zc)$，與物理尺寸座標 $(x, y)$ 的關係以下：

    $\begin{cases} \dfrac{x}{f} = \dfrac{X_{c}}{Z_{c}} \\ \dfrac{y}{f} = \dfrac{Y_{c}}{Z_{c}} \end{cases} $  =>  $\begin{cases} Z_{c} \cdot x = f \cdot {X_{c}} \\ Z_{c} \cdot y = f \cdot {Y_{c}} \end{cases} $    =>    $ Z_{c} \begin{bmatrix} x \\ y \\ 1 \end{bmatrix} = \begin{bmatrix} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix} \begin{bmatrix} X_{c} \\ Y_{c} \\ Z_{c} \\ 1 \end{bmatrix} $

   像素座標 $(u, v)$ 與相機座標點 $(Xc, Yc, Zc)$ 的關係爲：

    $ Z_{c} \begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = \begin{bmatrix} \dfrac{1}{d_{x}} & 0 & u_{0} \\ 0 & \dfrac{1}{d_{y}} & v_{0} \\ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix} \begin{bmatrix} X_{c} \\ Y_{c} \\ Z_{c} \\ 1 \end{bmatrix} = \begin{bmatrix} \dfrac{f}{d_{x}} & 0 & u_{0} & 0 \\ 0 & \dfrac{f}{d_{y}} & v_{0} & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix}  \begin{bmatrix} X_{c} \\ Y_{c} \\ Z_{c} \\ 1 \end{bmatrix}$

 

3  世界座標系

  世界座標系，是實際物體位置的參考系，它和 相機座標系 的轉換關係，就是一個剛體變換，具體見 立體視覺 之 剛體變換

   $ \begin{bmatrix} X_{c} \\ Y_{c} \\ Z_{c} \end{bmatrix} = \begin{bmatrix} R & T  \end{bmatrix} \begin{bmatrix} X_{w} \\ Y_{w} \\ Z_{w} \end{bmatrix}$

  這樣，就創建了圖像中的 像素點 (u, v) 和 世界座標中的 空間點 (Xw, Yw, Zw) 之間的對應關係。

  世界座標系，可根據運算的方便，來自由放置。若世界座標系和相機座標系重合，則 $R$ 爲單位矩陣，$T$ 爲零矩陣，即：

   $ \begin{bmatrix} X_{c} \\ Y_{c} \\ Z_{c} \end{bmatrix} = \begin{bmatrix} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix} \begin{bmatrix} X_{w} \\ Y_{w} \\ Z_{w} \end{bmatrix}$

 

小結

  這樣，像素點 (u, v)， 經過相機內參 A，轉換爲相機座標下的 (Xc, Yc, Zc)，再通過 $RT$ 變換，即可獲得世界座標下的 (Xw, Yw, Zw)

   $ Z_{c} \begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = \begin{bmatrix} \dfrac{f}{d_{x}} & 0 & u_{0} & 0 \\ 0 & \dfrac{f}{d_{y}} & v_{0} & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix}  \begin{bmatrix} R & T \\ 0^{T} & 1 \end{bmatrix} \begin{bmatrix} X_{w} \\ Y_{w} \\ Z_{w} \\ 1 \end{bmatrix}$

 

後記

  實際上，這有兩個問題：第一，上式中的 $Z_{c}$ 未知；第二，一個像素座標點 (u,v)，雖能轉化爲空間點座標 (Xw, Yw, Zw)，但並無 成像物體的特徵點 與其對應

  這裏有兩種解決思路：一種是 雙目視覺，另外一種是 結構光

 

 參考資料

     <視覺測量> 張廣軍，第2章，第 7章