論文筆記 M. Saquib Sarfraz_Pose-Sensitive Embedding_re-ranking_2018_CVPR

1. 摘要

做者使用一個pose-sensitive-embddding，把姿態的粗糙、精細信息結合在一塊兒應用到模型中。 用一個新的re-ranking方法，不須要從新計算新的ranking列表，是一種無監督、自動的方法。 這個新方法取得了state-of-the-art的效果。

2. 介紹

粗糙的信息做者使用view information來表示，經過估計front、back、side三種方向得分來表示； 精細的信息做者經過計算人體的14個關鍵點的位置來表示，而後把位置信息做爲通道輸入到模型 中，只設計一個簡單的分類損失來訓練模型。文章主要貢獻： （1）提出一種新的CNN embedding，結合粗糙、精細信息 （2）提出一種新的無監督、自動的re-ranking方法

3. 方法

論文的pipline （1）Pose-Sensitive Embedding view information：{front、back、side}網絡在common trunk 以後脫離出一個view predictor ，這個分類器在獨立數據集RAP上 訓練學習好，對{front、back、side}分別估計出一個得分，做爲主幹view unit中的weight。 而view unit 接在feature map後面，複製前面的網絡層。同weight 加權後接一個softmax 分類器。 訓練過程 ： 先訓練好view predictor ；而後訓練view units 同最後一層softmax；最後訓練第一層跟最後一層；在上述的全部訓練過程當中，其餘的 都固定不變。其實，不太明白這樣訓練的理由，文章中也沒有給出詳細的訓練依據，姑且認爲效果好吧。 （2）re-ranking 方法 定義一個新的expanded cross neighborhood ，而後基於ECN距離計算。 計算probe與gallery的距離，經過計算p的M個近鄰同g的距離與g的M個近鄰同p的距離之和，而後求平均 還使用了一種top-k gallery類似性的損失。

4. 實驗

上述實驗證實了粗糙、精細姿態信息對Reid的做用，進而說明了它們的結合將取得更好的結果。

5. 結論

PSE證實了粗糙、精細的信息對Reid都是頗有用的。PSE利用一個外在的view predictor 把coarse and fine-grained信息整合在一塊兒。 提升了行人再識別的準確率。而新提出的基於ECN距離的re-ranking 方法也取到了state-of-the-art的效果。

6. 評價

PSE利用人體姿態關鍵點的估計，把關鍵點的位置做爲新的通道輸入網絡；結合view information讓Reid 的準確率提升了不少。 fine-grained information做爲新的通道這卻是一個新的思路。不過這個還要依賴一個外在獨立的view predictor，稍微顯得有點臃腫。 新的re-ranking 方法感受計算量仍是蠻大的，不過效果不錯，這個無監督、自動的re-ranking方法還取得了state-of-the-art。

7. 參考

A Pose-Sensitive Embedding for Person Re-Identification with Expanded Cross Neighborhood Re-Ranking