Multihypothesis Trajectory Analysis for Robust Visual Tracking

Multihypothesis Trajectory Analysis for Robust Visual Tracking

2019-10-27 14:33:49

 

Paper: https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Lee_Multihypothesis_Trajectory_Analysis_2015_CVPR_paper.pdf 

Code: http://mcl.korea.ac.kr/research/object_tracking/dylee_cvpr2015/dylee_cvpr_2015_source_code.zip 

Project page: http://mcl.korea.ac.kr/research/object_tracking/dylee_cvpr2015/ 

 

1. Background and Motivation: 

本文提出使用多個軌跡假設的方法來進行跟蹤，貌似也是首次將 trajectory 引入到跟蹤中。該方法能夠有效地考慮先後幀之間的關聯。 用多個 tracker 去跑，而後設計度量公式，去選擇軌跡片斷。

 

2. STRUCK tracker:

本節對 STRUCK 跟蹤算法進行了迴歸。

 

3. MTA Tracker：

做者這裏經過經過對比前向跟蹤結果與後向跟蹤結果的差別性，來判斷當前前向跟蹤器的結果是否可靠。此外，做者採用多個前向跟蹤器來提供多個軌跡假設。經過前向和後向分析，做者選擇最好的 前向跟蹤軌跡來改善跟蹤的精確度和魯棒性。

 

3.1 Multiple Component Trackers: 

做者爲同一個 tracker，輸入不一樣的 feature，從而達到獲得不一樣跟蹤軌跡的目的。三條軌跡分別使用：Haar-like feature，Color histograms，Illumination invariant feature，具體細節以下所示：

 

爲了衡量特徵向量 u 和 v 之間的類似性，咱們用交叉核（intersection kernel）來組合他們，獲得：

 

  

3.2 Trajectory Analysis --- Robustness Score：

三個成分的跟蹤器產生了三個軌跡假設。做者衡量每個跟蹤器的魯棒性，而後選擇當前時刻最優的做爲最終的軌跡。

 

跟蹤器魯棒性得分的計算方法以下：

首先，從前些幀到當前幀，先用 tracker 進行跟蹤，那麼能夠獲得前向軌跡：

 

而後，在 frame t2 時刻的位置，咱們初始化再初始化一個 tracker 進行後向的跟蹤。後向軌跡以下：

 

注意到，在間隔 [t1, t2] 的最後一幀 t2，咱們有 做者用後向軌跡來檢查前向軌跡的可靠性，可是採用三種不一樣的度量方式：geometric similarity, cyclic weight, and appearance similarity。如圖 2 （a）所示，幾何類似性得分以下：

利用的是前向位置 和 後向位置的距離，其中分母爲 500。理想的狀況下，後向估計應該和前向是一致的，此時的幾何類似性爲 1。

 

接下來，咱們衡量前向和後向的循環權重。因爲跟蹤失敗狀況的存在，後向傳播的最終位置可能和前向的起始位置不相同。在這種狀況下，兩個軌跡並不能構成一個閉環。如圖 2（b）所示，跟蹤器 1 和 2 構成了閉環，可是 3 並無。此外，雖然 1 和 2 都構成了閉環，可是二者的 IoU 差距仍是很大的，由於 2 出現了很大的不重合。可是這多是由於 heavy occlusion，反而 跟蹤器 2 多是成功跟蹤上的。與此對比，跟蹤器 3 可能就是失敗的 tracker 了。

 

實際上，做者計算兩個對應 BBox 的重合度，獲得：

其中，德爾塔 裏面有一個 x 的表示的是該 BBox 的面積，而有兩個 BBox 的是兩個 BBox 的重合面積。當該比值小於 0.3 的時候，表示前向和後向軌跡不一致。做者統計在這個短時間內不匹配的次數，以檢查兩個軌跡是否構成一個閉環。而後，定義兩個軌跡的循環權重以下：

注意到，10^6 是一個任意的大數（big number）。

 

此外，做者也定義了 appearance similarity 來衡量反向位置的可靠性。假設咱們已經用多個 tracker 跑完了某一段，獲得了前向軌跡。咱們保持四個圖像塊，沿着前向軌跡選擇的 bbox。第一幀的 bbox 是默認選擇的，其餘三個bbox更新用於產生最高的判別函數得分。假設 P(x) 表示 x 位置的 image patch，而後，其後向軌跡對應該圖像塊的 appearance similarity 能夠定義爲：

其中，分母中 delta 2 的平方 爲 900，w 和 h 分別是 BBox 的寬和高。K 是高斯權重 mask，黑點表示 pixel-by-pixel weight multiplication。若是該指標較小，則代表：反向軌跡的 bbox 相對於之前的，快速改變了其外觀，可能代表出現了 tracking error。

 

最終，咱們組合幾何類似性，循環權重，外觀類似性來量化跟蹤器的魯棒性，獲得：

該度量值越大，代表前向軌跡越可靠。

 

3.3 Tracking by Optimal Trajectory Selection. 

 

 

做者爲了下降計算複雜度，每間隔 $\tao$ 幀運行一次軌跡分析。而後開始計算魯棒性得分，獲得當前 frame clip 的軌跡，即：公式（11）。

 

3.4 Failure Handling：

做者也設置了一個閾值，對多個軌跡進行分析，進行 tracking failure 的判斷。

 

4. Experiments：

 

 

 

 

 

 

 

 

 

==