Re-ranking Person Re-identification with k-reciprocal Encoding

Re-ranking Person Re-identification with k-reciprocal Encoding

Abstract

In this paper, we propose a k-reciprocal encoding method to re-rank the re-ID results. Our hypothesis is that if a gallery image is similar to the probe in the k-reciprocal nearest neighbors, it is more likely to be a true match.Specifically, given an image, a k-reciprocal feature is calculated by encoding its k-reciprocal nearest neighbors into a single vector, which is used for re-ranking under the Jaccard distance. The final distance is computed as the combination of the original distance and the Jaccard distance.

這篇論文提出了k-reciprocal 編碼方法去重排re-ID結果。論文假定底庫圖片和查詢圖片在 k-reciprocal近鄰是類似的，則它們最有多是匹配的。論文主要利用原始距離和傑卡德距離完成re-ranking。

Introduction

上圖是使用KNN(k=10)聚類的結果，其中Probe爲查詢圖片，P1~P4爲正樣本，N1~N6爲負樣本。P1~P4在類似排名上並不靠前，而N1~N6卻比較靠前，這說明使用KNN算法獲得初始排序結果具備很大噪聲。

---

上圖是使用KRNN(k-reciprocal nearest neighbor)算法的重排結果。首先咱們須要求出一張圖片的表徵特徵（appearance feature）和k-r特徵(k-reciprocal feature)而後分別計算原始距離和傑卡德距離，最後計算最終距離，得出re-ranking列表。

---

這篇文章的主要工做：

• 提出了單一的k-r特徵，有利於re-ranking
• 不須要人工操做和數據標註，採用的是一種自動的和非監督的方法。
• 在多個數據集上，rank-1和mAP性能指標提高。

Proposed Approach

1. Problem Definition

Mahalanobis distance：

M爲半正定矩陣 ，\(d(p,{g_i})\) 爲文中提到的原始距離。

2. K-reciprocal Nearest Neighbors

KNN:

KNN算法簡介：給定測試實例，基於某種距離度量找出訓練集中與其最靠近的k個實例點，而後基於這k個最近鄰的信息來進行預測。

• 時間複雜度o(n*k)：n爲樣本數量，k爲單個樣本特徵的維度。若是不考慮特徵維度的粒度爲o(n)
• 空間複雜度o(n*k)：n爲樣本數量，k爲單個樣本特徵的維度。若是不考慮特徵維度的粒度爲o(n)

KRNN:

∧爲合取聯結詞,叫作合取,好比r=q∧p,那麼當且僅當p與q同時爲真(或者說同時爲1)時r爲真(或1)，也就是說\({g_i}\)是p的近鄰，p也是\({g_i}\)的近鄰。

有時候正樣本不在K近鄰中，也不在k-r近鄰中。爲了解決這個問題，本文增長了\(\frac{1}{2}\)k-r近鄰，來得到更爲魯棒性的\({R^*}(p,k)\)。

3. Jaccard Distance

\(\left| \right|\)表明這個數據集的數量。若是\({g_i}\)和p是類似的，則\({R^*}(p,k)\)和\({R^*}(g_i,k)\)重合部分較多，則傑卡德距離\({d_J}(p,{g_i})\)就越小。
這步操做有3個缺點：

• 得到\({R^*}(g_i,k)\)和\({R^*}(p,k)\)數據很是費時。
• 計算全部近鄰的權重都是相等的。
• 沒有考慮到原始距離和傑卡德距離的聯繫。
  

4. Local Query Expansion

由於同一類別的圖片具備類似的特徵，咱們使用KNN方法完成本地查詢操做。

5. Final Distance

6. Complexity Analysis

假設底庫圖片集大小爲N,通常狀況下距離測量和從新排序的時間複雜度分別爲\(O({N^2})\)，\(O({N^2}\log N)\)。可是，咱們提早在本地上計算距離和進行排序，故時間複雜度分別爲\(O({N})\)，\(O({N}\log N)\)。