論文筆記：Fast Online Object Tracking and Segmentation: A Unifying Approach

Fast Online Object Tracking and Segmentation: A Unifying Approach

CVPR-2019
2019-03-11 23:45:12

Paper：https://arxiv.org/pdf/1812.05050 

Project Page: http://www.robots.ox.ac.uk/~qwang/SiamMask/ 

Code（Test Only）：https://github.com/foolwood/SiamMask 

Blog：https://zhuanlan.zhihu.com/p/58154634 

Demo Video: https://www.youtube.com/watch?v=I_iOVrcpEBw&feature=youtu.be 

 

這篇博文主要從 Tracking 的角度來看待這個跟蹤算法，具體分割算法請參考原文。本文提出一種多任務框架，來實現同時跟蹤與分割，初步探索了目標的表達對跟蹤結果的影響。具體效果以下圖所示：

 

究其根本，就是在想怎麼用更好的 Bounding Box 框柱物體，以適應物體的形變等致使的跟蹤不許確的問題。當上一幀的跟蹤結果靠譜時，那麼當前幀就能夠進行很好的採樣，跟蹤。做者在 Siamese Net based tracker 的基礎上，進一步引入 Mask branch，獲得分割結果。而後在此基礎上，進行跟蹤。這一步，其實至關於必定程度上解決了目標尺度變化的問題。其跟蹤框架的大體流程以下所示：

 其中，分割模塊的具體網絡結構，以下所示：

 

其實，貌似就是這樣簡單。可是因爲 Siamese tracker 效率很高，加上分割的分支以後，速度也沒有變慢不少。可是，在 VOT 的跟蹤數據集上，取得了很好的跟蹤效果。

 

總結：

關於該文章，算是在 Siamese Tracker 基礎上的改進，固然不限於文中所涉及到的兩個跟蹤算法，SiamFC 和 Siamese RPN。好比 MDNet 的幾個基於分類的跟蹤算法，也存在相似的目標表達方面的問題，即：Scale variation 。因爲本文是基於 Siamese tracker 來作的，原始 Siamese tracker 的一些毛病，可能依然存在，如：heavy occlusion，fast motion 等問題。本文的做者也對跟蹤將來的發展作了一些展望，詳情可參考其知乎文章：https://zhuanlan.zhihu.com/p/58154634 。

 

匆匆掃了掃論文，還沒來得及跑跑代碼。明天跑一下 demo video，再來總結吧。

 

==