LIFT 論文詳解

LIFT

本文提供了相應的theano 和 tensorflow，論文是比較早期的探索利用CNN的方法去學習特徵的工做，並且該組是瑞士聯邦理工學院的 cvlab，以前也作過不少 deep feature 和 三維視覺相關的研究，該工做很值得研究一下。

主要思路

本文利用CNN網絡特徵點提取，ori 估計和特徵描述符的計算，並且是在統一模型框架裏面學習這三個子任務。

基本流程

總體 pipeline

本文提出的統一模型框架 LIFT 的總體 pipeline 以下圖所示：

其中包括主要的部分 Detector、Orientation Estimator 和 Descriptor。每一個子任務都是單獨的 CNN 網絡，以前的工做 TILDE、Learn Orientation 和 DeepDesc 已經證實單獨任務利用 CNN 網絡能夠處理的很好，本文則把它們統一到大框架裏一塊兒學習，整個網絡架構是端對端可導的。

其中爲了把這三個任務合併在一塊兒，這裏獲得 Detector 和 Orientation Estimator 任務的輸出結果後，利用 Spatial Transformers 層獲得 patch 做爲 Descriptor 任務的輸入。

其中用 soft argmax 替代傳統檢測算法 non-local maximum suppression(NMS) 算法。這樣作的好處是整個 pipeline 都是可導的，這樣能夠統一利用反向傳導訓練，以前沒有其餘相似的工做，這個是第一次嘗試。

網絡架構

LIFT 總體的網絡架構以下圖所示：

其中網絡的輸入是 image patches，而不是整張圖像，主要是圖像中大部分區域並不包含特徵點。這些 image patches 是根據特徵點提取的，特徵點是 SIFT-SfM 構建的，後面會詳細討論。 有個問題是，訓練能夠這樣製造 patches，可是測試時 patches 怎麼得到？？？ 並且 image patch 儘量選擇的小，這樣保證在給定的這個 scale 的 image patch 上只有一個主要的特徵點存在，減小了查找該 image patch 其餘特徵點時間。 有點奇怪，這還叫特徵點 Detector？？？

其中總體網絡架構包含四個分支，每一個分支都包含 Detector、Orientation Estimator 和 Descriptor 三個不一樣的 CNN 網絡。

在訓練過程當中，使用 image patches 四元組做爲輸入。四元組包含兩個匹配的 image patches，${\mathbf{P}}^1$ 和 ${\mathbf{P}}^2$（對應同一個 3D 點，在不一樣的 view 上），第三個 image patch ${\mathbf{P}}^3$ 表示不一樣的 3D 對應的 patches，第四個 image patch ${\mathbf{P}}^4$ 表示不對應任何 3D 點，上面也不包含特徵點。四元組中的四個 image patches 對應網絡結構中的四個分支。 可是第四個分支去的其實有問題，有些 patches 在 SfM 中並無對應 3D 點可能有不少緣由，不必定就不包含特徵點，這種數據設計是由噪聲的？？？？

爲了實現端到端的求導，每一個分支各個任務的鏈接關係以下：

1. 輸入 image patch $\mathbf{P}$，Detector 輸出 score map $\mathbf{S}$；
2. 在 score map $\mathbf{S}$ 上執行 soft argmax 獲取特徵點位置 $\mathbf{x}$； 若是不存在呢？？？
3. 以特徵點位置 $\mathbf{x}$ 爲中心，利用 Spatial Transformer 層去 Crop 提取小 patch $\mathbf{p}$ 做爲 Orientation Estimator 的輸入；
4. Orientation Estimator 估計 $\mathbf{p}$ 的 orientation $\theta$；
5. 而後利用 Spatial Transformer 層根據 $\theta$ 去 rotate $\mathbf{p}$ 獲得 ${\mathbf{p}}_{\theta }$；
6. ${\mathbf{p}}_{\theta }$ 輸入到 Descriptor 網絡獲得最終的特徵向量 $\mathbf{d}$；

soft argmax 使 argmax 變爲可導，將 score map 轉換爲具體座標，須要 check 具體公式；

這裏提供的 Spatial Transformer 層不具備學習參數，只是爲了保持總體可導，操做須要的參數在前面 CNN 中已經求得 $\mathbf{x}$ 和 $\theta$，Spatial Transformer 層只須要根據這兩個值對 image patches 進行 Crop 和 Rot 便可。

整個網絡做爲總體一塊兒從 scratch 開始 train 比較難收斂。因此本文設計了一種針對特定任務學習流程，首先學習 Descriptor 的參數，而後基於學習到的參數學習 Orientation Estimator 的參數，最後根據前兩個已經學到的參數去學習 Detector 的參數。從後向前去訓練每一個部分，這樣最後的梯度也能夠正確的反向傳導。

構建訓練數據集

從 1DSfM 提供的 13 個數據集中選擇 Piccadilly Circus 和 Roman Forum 兩個數據集。而後利用 VisualSFM 進行重建(基於 SIFT 特徵點)獲得 3D 點。具體重建後每一個數據集內容以下：

1. Piccadilly 包含 3384 張圖像，$59k$ 個 3D 點，平均每一個 3D 點有 6.5 個圖像觀察到；
2. Roman-Forum 包含 1658 張圖像，$51k$ 個 3D 點，平均每一個 3D 點有 5.2 個圖像觀察到；

數據集中的一些圖像示例以下：

其中左邊圖像來自 Piccadilly 數據集，右邊圖像來自 Roman-Forum 數據集。在 SfM 重建過程當中保留下來的特徵點爲藍色，其餘的爲紅色。

把上面收集到的數據集分爲訓練集和驗證集，若是訓練集中某些 3D 在驗證集合也被觀察到，那就刪除驗證集合中觀察到這些點的 view，同理也刪除訓練集中觀察到驗證集中 3D 點的那些 view。 具體怎麼劃分的感受仍是有點問題？？？

構建正樣本匹配的 patch pair 只從 SfM 重建保留下來的特徵中選擇(這些點魯棒性強，當作特徵點合適)。同時爲了提取不包含任何特徵點的 patches(上面說的網絡結構中第四個分支的輸入)，隨機採用不包含 SIFT 特徵的圖像區域，固然那些在 SfM 過程沒保留下來的特徵點也不能被包含。

根據點的 scale $\sigma$ 值，去在原圖上提取灰度的 image patches $\mathbf{P}$。 patches $\mathbf{P}$ 在給定的位置上提取 $24\sigma \times 24\sigma$ 的區域，而後標準化到 $S\times S$，其中 $S=128$。而後小的 patches $\mathbf{p}$ 和 ${\mathbf{p}}_{\theta }$ 做爲 Orientation Estimator 和 Descriptor 網絡的輸入，大小都是 $s\times s$，其中 $s=64$。

這裏後面說小 patches 和 SIFT描述符的支持區域大小 $12\sigma$ 對應起來，不太明白？？？

爲了防止 overfitting，在 patch 位置上作了隨機擾動，範圍是 $20\%(4.8\sigma )$。最後利用整個數據集灰度圖的均值和標準差歸一化輸入的 patches。

Descriptor

本文利用 DeepDesc 提供的網絡結構去提取 patches 的描述符。在訓練 Descriptor 網絡的時候，Detector 和 Orientation Estimator 不參與訓練。該網絡的輸入的是 Orientation Estimator 輸出 ${\mathbf{p}}_{\theta }$。可是此時前面的網絡尚未訓練，不能自動生成，這裏使用 SfM 獲得的特徵點的位置和 ori 來生成 ${\mathbf{p}}_{\theta }$，當作 Descriptor 網絡的訓練數據。

訓練 Descriptor 網絡，主要是最小化匹配 patch pairs 之間的 Euclidean 距離，最大化非匹配patch pairs 之間的 Euclidean 距離，具體的 loss 公式以下：

$${\mathcal{L}}_{\mathrm{d}\mathrm{e}\mathrm{s}\mathrm{c}}\left({\mathbf{p}}_{\theta }^k,{\mathbf{p}}_{\theta }^l\right)=\{\begin{array}{lc}{\Vert h_{\rho }\left({\mathbf{p}}_{\theta }^k\right)-h_{\rho }\left({\mathbf{p}}_{\theta }^l\right)\Vert }_2& \text{ for positive pairs, and }\\ \max \left(0,C-{\Vert h_{\rho }\left({\mathbf{p}}_{\theta }^k\right)-h_{\rho }\left({\mathbf{p}}_{\theta }^l\right)\Vert }_2\right)& \text{ for negative pairs }\end{array}$$

其中 $\mathbf{d}=h_{\rho }\left({\mathbf{p}}_{\theta }\right)$，$h(.)$ 表示 Descriptor 網絡，$\rho$ 表示 CNN 網絡參數。

其中 $C=4$ 表示非匹配 patch pair 的最大距離邊界（距離更遠 loss 不繼續增長了）。

在訓練 Descriptor 網絡使用 hard mining 方法，和上面 DeepDesc 中使用方法同樣，在 DeepDesc 中也看出該策略對最終的描述符的性能很重要。基於該策略，總共輸入 $K_f$ 個 pairs，而後只取 loss 最高的前 $K_b$ 個 paris 的 loss 進行反向傳播，$r=K_f/K_b\ge 1$ 表示 mining ratio。在 DeepDesc 工做中，網絡預訓練沒使用 mining 策略，fine-tune 時候設置 $r=8$。本文使用增量是的 mining 策略，訓練開始 $r=1$，而後每 5000 個 batches 後 $r$ 翻倍。這裏每一個 batch 包括 128 對正樣本，128 對負樣本。

Orientation Estimator

本文進行 Orientation Estimator 的思路和 Learn Orientation 相似。但該方法須要預先計算好多個 orientation 的描述符向量，而後計算相對於 orientation 的 Jacobian 矩陣。 這裏說的 Jacobian 具體含義？？？ 在本文中 Detector 的輸入沒有直接處理，而是做爲整個 pipeline 的一部分，因此預先計算描述符向量是不可能的。

基於上面的考慮，本文采用 Spatial Transformers 去學習 orientation。根據 Detector 網絡輸出的區域位置能夠獲得 patch $\mathbf{p}$，而後 Orientation Estimator 估計一個 orientation，公式以下：

$$\theta =g_{\varphi }(\mathbf{p})$$

其中 $g(.)$ 表示 Orientation Estimator 網絡，$\varphi$ 表示 CNN 網絡參數。

這樣給定原始的 image patch $\mathbf{P}$，以及 Detector 網絡的輸出位置 $\mathbf{x}$，還有第二個 Spatial Transformer 層 $\mathrm{Rot}(.)$ 估計的 $\theta$，這樣 Descriptor 網絡的輸入獲得了 ${\mathbf{p}}_{\theta }=\mathrm{Rot}(\mathbf{P},\mathbf{x},\theta )$。

這樣在訓練 Orientation Estimator 網絡的時候，能夠最小化相同 3D 點在不一樣 views 下的特徵向量的距離，loss 最終仍是落在 Descriptor 網絡上。同時在訓練時固定前面已經訓練好的 Descriptor 的參數，同時 Detector 仍是不繼續訓練，使用 SfM 獲得的特徵點的位置信息生成。訓練 Orientation Estimator 網絡 loss 的公式以下：

$${\mathcal{L}}_{\text{ orientation }}\left({\mathbf{P}}^1,{\mathbf{x}}^1,{\mathbf{P}}^2,{\mathbf{x}}^2\right)={\Vert h_{\rho }\left(G\left({\mathbf{P}}^1,{\mathbf{x}}^1\right)\right)-h_{\rho }\left(G\left({\mathbf{P}}^2,{\mathbf{x}}^2\right)\right)\Vert }_2$$

簡單來講就是最小化匹配 pairs 特徵向量之間的 Euclidean 距離。

其中 $G(\mathbf{P},\mathbf{x})=\mathrm{Rot}\left(\mathbf{P},\mathbf{x},g_{\varphi }(\mathrm{Crop}(\mathbf{P},\mathbf{x}))\right)$，表示前面的 crop 和 rotate 操做。

其中 $\left({\mathbf{P}}^1,{\mathbf{P}}^2\right)$ 表示同一個 3D 點的投影對應的 image patches，${\mathbf{x}}^1$ 和 ${\mathbf{x}}^2$ 分佈表示投影位置。

Detector

Detector 網絡輸入一個 image patch，返回一個 score map。本文的方法和 TILDE 相似，卷積層後面跟着分段線性激活函數，具體以下：

$$\mathbf{S}=f_{\mu }(\mathbf{P})=\sum _n^N{\delta }_n\underset{m}{\max }\left({\mathbf{W}}_{mn}\ast \mathbf{P}+{\mathbf{b}}_{mn}\right)$$

其中 $f_{\mu }(\mathbf{P})$ 表示 Detector 網絡， $\mu$ 表示 CNN 網絡參數。

其中 ${\delta }_n=\{\begin{array}{lc}+1& \text{ for n is odd, and }\\ -1& \text{ otherwise }\end{array}$

$N$ 和 $M$ 是超參，控制分段線性激活函數的複雜度。

上面公式部分有點不明白

這裏和 TILDE 主要的不一樣是本文使用 score map 中最大值來隱式的表示位置信息，而不是像 TILDE 網絡直接去迴歸 SfM 獲得的特徵點固定的位置，在實驗中發現這樣直接回歸位置會下降性能。

而後有 score map $\mathbf{S}$，能夠獲得特徵點的位置：

$$\mathbf{x}=\text{ softargmax }(\mathbf{S})$$

其中 softargmax 函數主要計算 score map 的質心，具體公式以下：

$$\mathrm{softargmax}(\mathbf{S})=\frac{{\sum }_{\mathbf{y}}\exp (\beta \mathbf{S}(\mathbf{y}))\mathbf{y}}{{\sum }_{\mathbf{y}}\exp (\beta \mathbf{S}(\mathbf{y}))}$$

其中 $\mathbf{y}$ 是 score map $\mathbf{S}$ 的位置，$\beta =10$ 是控制 softargmax 函數平滑度的超參。softargmax 也能夠理解爲一個可導的非極大值抑制函數（NMS）。$\mathbf{x}$ 和 image patch $\mathbf{P}$ 輸入到第一個 Spatial Transformer 層 $\text{ Crop }(.)$ 函數裏面，$\mathbf{p}=\mathrm{Crop}(\mathbf{P},\mathbf{x})$ 能夠做爲 Orientation Estimator 的輸入。

並且以前 Orientation Estimator 網絡和 Descriptor 網絡都已經訓完成，這樣就能夠固定這兩個網絡的參數，基於整個 pipeline 來訓練。就像上面提到的，輸入訓練四元組 $\left({\mathbf{P}}_0^1,{\mathbf{P}}^2,{\mathbf{P}}^3,{\mathbf{P}}^4\right)$，最小化 loss 總和，具體以下：

$${\mathcal{L}}_{\text{ detector }}\left({\mathbf{P}}^1,{\mathbf{P}}^2,{\mathbf{P}}^3,{\mathbf{P}}^4\right)=\gamma {\mathcal{L}}_{class}\left({\mathbf{P}}^1,{\mathbf{P}}^2,{\mathbf{P}}^3,{\mathbf{P}}^4\right)+{\mathcal{L}}_{pair}\left({\mathbf{P}}^1,{\mathbf{P}}^2\right)$$

其中 $\gamma$ 是平衡上面兩個 loss 的超參。

首先須要對輸入的 image patch 進行分類，判斷該 patch 上是否是包含一個特徵點：

$${\mathcal{L}}_{\mathrm{c}\mathrm{l}\mathrm{a}\mathrm{s}\mathrm{s}}\left({\mathbf{P}}^1,{\mathbf{P}}^2,{\mathbf{P}}^3,{\mathbf{P}}^4\right)=\sum _{i=1}^4{\alpha }_i\max {\left(0,\left(1-\mathrm{softmax}\left(f_{\mu }\left({\mathbf{P}}^i\right)\right)y_i\right)\right)}^2$$

其中 $ \left{ \begin{array} { l } { y _ { i } = - 1 \text { and } \alpha _ { i } = 3 / 6 } & { \text { for i = 4, and } } \ { y _ { i } = + 1 \text { and } \alpha _ { i } = 1 / 6 } & { \text { otherwise } } \end{array} \right.$ 主要是用於正負樣本，是否是特徵點 patch。這裏的分類應該主要是該 patch 是否是包含特徵點，是和否，只有兩類，可是輸入 score map，怎麼進行兩類的 softmax？？？

而後須要肯定特徵點位置，這裏假設匹配 patch 學習到的位置須要儘量使根據該位置計算出的描述符直接的距離最近，公式以下：這樣其實有可能帶來反作用，描述符最近的位置點不必定是正確的匹配點位置？？？
$$\begin{array}{rl}{\mathcal{L}}_{\mathrm{p}\mathrm{a}\mathrm{i}\mathrm{r}}\left({\mathbf{P}}^1,{\mathbf{P}}^2\right)=\Vert & h_{\rho }\left(G\left({\mathbf{P}}^1,\mathrm{softargmax}\left(f_{\mu }\left({\mathbf{P}}^1\right)\right)\right)\right)-h_{\rho }\left(G\left({\mathbf{P}}^2,\mathrm{softargmax}\left(f_{\mu }\left({\mathbf{P}}^2\right)\right)\right)\right)\end{array}$$

這裏三個組件一塊兒來促進 Detector 網絡的訓練，同時設置 Descriptor 網絡的 mining ratio 爲 $r=8$。

同時文中提到在訓練 Descriptor 網絡時，已經學習到一些不變性(平移或者說是位置的不變性)，這樣對於 Detector 網絡來講很難進一步去學習到有用的信息了。爲了讓 Detector 網絡去學習到正確的區域，預訓練時限制學習到的位置匹配 patch 必須徹底 overlap 在一塊兒，是否是實際輸入的位置在 image patch 上就是同樣的？？？，後面繼續訓練時解除限制。

預訓練時的 loss 用下面的替換：

$${\tilde{\mathcal{L}}}_{\mathrm{p}\mathrm{a}\mathrm{i}\mathrm{r}}\left({\mathbf{P}}^1,{\mathbf{P}}^2\right)=1-\frac{{\mathbf{p}}^1\cap {\mathbf{p}}^2}{{\mathbf{p}}^1\cup {\mathbf{p}}^2}+\frac{\max \left(0,{\Vert {\mathbf{x}}^1-{\mathbf{x}}^2\Vert }_1-2s\right)}{\sqrt{{\mathbf{p}}^1\cup {\mathbf{p}}^2}}$$

當 ${\tilde{\mathcal{L}}}_{\text{ pair }}=0$ 也就是兩個 patch 徹底 overlap 在一塊兒。

其中 ${\mathbf{x}}^j=\mathrm{softargmax}\left(f_{\mu }\left({\mathbf{P}}^j\right)\right)$， ${\mathbf{p}}^j=\mathrm{Crop}\left({\mathbf{P}}^j,{\mathbf{x}}^j\right)$，$\Vert \cdot {\Vert }_1$ 是 $l_1\text{ norm }$。

其中 $s=64$ 是 $\mathbf{p}$ 的長和寬。

Pipeline

總體的運行框架以下圖所示：

雖然本文方法訓練時在 image patches 上進行的，可是測試的輸入是整張圖像，這裏採用在整張圖像是進行 sliding window 選取 image patches 的方法。但這樣操做，時間花費太大。但幸運的是，Orientation Estimator 和 Descriptor 網絡只須要在局部最大值上運行，而不須要在全部的 windows 上運行。這裏就把 Detector 網絡單獨拿出來在整張圖像上運行，如上圖紅框所示，並且是在多個 scale 上運行的，這樣把多個 patches 的 score map 合併到原圖上，獲得了 score pypamid，後面用 NMS（和 SIFT 中使用的一致） 方法代替網絡裏面的 softargmax 獲得最終的 keypoints 的位置。後面的流程就和訓練一致了。

實驗

數據集和試驗構建

三個標準數據集：

1. Strecha 數據集，包含 2 個 scenes 的 19 張 viewpoint 變化的圖像。
2. DTU 數據集，包含 60 個 objects 的 60 個序列，包括了 viewpoint 和 illumination，網址以下data。用該數據集評價在不一樣 viewpoint 下本文方法性能。
3. Webcam 數據集，包含 6 個 scenes 的 710 張 illumination 變化的圖像（同一個 viewpoint ）。用該數據集評價在不一樣 illumination 下本文方法性能。

對於 Strecha 和 DTU 數據集，用於原文做者提供的真值構建匹配關係。每張圖像最多使用 1000 個 keypoints，利用 A performance evaluation of local descriptors 提出的評估方法進行評估，主要包含如下指標：

1. Repeatability (Rep.) ：度量特徵點的可重複性，表示爲一個比例值。主要是評價特徵點 Detector 性能，具體指特徵點在真值區域被發現的比例。
2. Nearest Neighbor mean Average Precision (NN mAP) ：主要是評價描述符 Descriptor 的可區分度，具體指在不一樣描述符距離閾值下的 Precision-Recall 曲線的 Area Under Curve (AUC)，使用 NN 匹配策略。
3. Matching Score (M. Score) ：主要是度量整個 pipeline 的性能，具體指真值匹配關係被發現的比例。

效果對比

和 SIFT 對比效果以下圖所示：

其中左邊是 SIFT 結果，右邊是本文結果。從上到下測試數據來源分別爲Strecha，Webcam，DTU scene 7 和 DTU scene 19 數據集。能夠看出本文方法能夠獲得更多的正確匹配關係。

訓練使用的 Piccadilly 數據集，訓練集和測試集的區別仍是比較大的，可是效果都還不錯，說明泛化性能比較強。

整個 pipeline 的量化評估

下圖是在三個測試數據集上平均 matching score 對比，具體結果以下圖所示：

其中 LIFT (pic) 是在 Piccadilly 數據集上訓練的，LIFT (rf) 是在 Roman-Forum 數據集上訓練的。

同時上面看出 SIFT 效果要好於 VGG，DeepDesc 和 PN-Net 等深度學習方法。

並且對於某些方法單個部分好比 Detector 和 Descriptor 性能可能會好，但在總體 pipeline 評估中性能不必定保持。這也說明整個 pipeline 要放在一塊兒進行學習，像本文方法同樣，並且在評估中要考慮對整個 pipeline 的評估。

各部分性能評估

Fine-tuning the Detector

上面討論 Detector 網絡進行預訓練和 fine tune 訓練，這裏對比了這兩種性能，具體結果以下圖所示：

其中是在 Strecha 數據集上進行測試的。看出來只進行預訓練性能已經比較好了，fine tune 後性能仍是有一些提升的。

並且能夠看出來在 Piccadilly 數據集上訓練性能比 Roman-Forum 數據集上訓練要好一些。主要是由於 Roman-Forum 數據集上沒有不少的非特徵點區域，也就是說 Detector 訓練過程負樣本是不足的，在訓練過程很容易 over-fitting。

各部分性能

各個部分性能對好比下圖所示：

其中是在 Strecha 數據集上進行測試的。

經過上面發現用本文方法替換 SIFT 中的每一個部分都會有提升。並且主要是用本文的 Detector 網絡替換 SIFT 的檢測方法不只對 Rep 性能有提升，並且對 NN mAP 和 M. Score 都有提升，這說明本文方法不只能夠正確找到特徵點位置，並且能找到更利於描述符匹配的位置。同時說明整個 pipeline 一塊兒訓練來講是最優的方案。

本文同步分享在 博客「無比機智的永哥」（CSDN）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。