Person Transfer GAN to Bridge Domain Gap for Person Re-identification

目錄

• 相關背景
• 主要內容
  • MSMT17
  • Person Transfer GAN(PTGAN)
• 總結

---

注：原創不易，轉載請務必註明原做者和出處，感謝支持！

相關背景

行人再識別（Person Re-identification, Person ReID）是指給定一個行人的圖片/視頻（probe），而後從一個監控網絡所拍攝的圖片/視頻（gallery）庫中識別出該行人的這個一個過程。其能夠看作是一個基於內容的圖像檢索（CBIR）的一個子問題。

論文題目：Person Transfer GAN to Bridge Domain Gap for Person Re-identification

來源：CVPR 2018

摘要：Although the performance of person Re-Identification(ReID) has been significantly boosted, many challengins issues in real scenarios have not been fully investigated, e.g., the complex scenes and lighting variations, viewpoint and pose changes, and the large number of identities in a camera network. To facilitate the research towards conquering those issues, this paper contributes a new dataset called MSMT17 with many important features, e.g., 1) the raw videos are taken by an 15-camera network deployed in both indoor and outdoor scenes, 2) the videos cover a long period of time and present complex lighting variations, and 3) it contains currently the largest number of annotated identities, i.e. 4101 identities and 126441 bounding boxes. We also observe that, domain gap commonly exists between datasets, which essentially causes severe performance drop when training and testing on different datasets. This results in that available training data cannot be effectively leveraged for new testing domains. To relieve the expensive costs of annotating new training samples, we propose a Person Transfer Generative Adversarial Network(PTGAN) to bridge the domain gap. Comprehensive experiments show that the domain gap could be substantially narrowed-down by the PTGAN.

主要內容

MSMT17

數據集網址：http://www.pkuvmc.com

針對目前Person ReID數據集存在的缺陷：

• 數據量規模小
• 場景單一
• 數據採集的時間跨度短，光照變化不明顯
• 數據標註方式不合理

本文發佈了一個新的Person ReID數據集——MSMT17。MSMT17是目前爲止數據量規模最大的Person ReID數據集。共有126441個Bounding Boxes，4101個Identities，15個Cameras，涵蓋了indoor和outdoor兩個場景，Detector用的是更爲先進的Faster RCNN。

Person Transfer GAN(PTGAN)

Domain Gap現象

舉個例子，好比在CUHK03數據集上訓練好的模型放到PRID數據集上測試，結果rank-1的準確率只有2.0%。在不一樣的Person ReID數據集上進行算法的訓練和測試會致使ReID的性能急劇降低。而這種降低是廣泛存在的。這意味着基於舊有的訓練數據訓練到的模型沒法直接應用在新的數據集中，如何下降Domain Gap的影響以利用好舊有的標註數據頗有研究的必要。爲此本文提出了PTGAN模型。

形成Domain Gap現象的緣由是複雜的，多是因爲光照、圖像分辨率、人種、季節和背景等複雜因素形成的。

好比，咱們在數據集B上作Person ReID任務時，爲了更好地利用現有數據集A的訓練數據，咱們能夠試着將數據集A中的行人圖片遷移到目標數據集B當中。但因爲Domain Gap的存在，在遷移時，要求算法可以作到如下兩點：

1. 被遷移的行人圖片應該具備和目標數據集圖片相一致的style，這是爲了儘量地下降由於style不一致所致使的Domain Gap所帶來的性能降低。
2. 具備區分不一樣行人能力的外觀特徵（appearance）和身份線索（identity cues）應該在遷移以後保持不變！由於遷移前和遷移後的行人具備相同的label，即他們應該是同一我的。

由於Person Transfer與Unpaired Image-to-Image Translation任務相似，因此本文選擇在Unpaired Image-to-Image Translation任務中表現優異的Cycle-GAN模型基礎上，提出了Person Transfer GAN模型。PTGAN模型的loss函數\(L_{PTGAN}\)被設計成以下公式：
\[ L_{PTGAN} = L_{Style} + \lambda_1L_{ID} \]
其中：
\(L_{Style}\)：the style loss
\(L_{ID}\)：the identity loss
\(\lambda_1\)：the parameter for the trade-off between the two losses above

定義下列符號，則\(L_{Style}\)能夠表示成：
\(G\)：the style mapping function from dataset A to dataset B
\(\overline{G}\)：the style mapping function from dataset B to dataset A
\(D_A\)：the style discriminator for dataset A
\(D_B\)：the style discriminator for dataset B

\[ L_{Style} = L_{GAN}(G, D_B, A, B) + L_{GAN}(\overline{G}, D_A, B, A) + \lambda_2L_{cyc}(G, \overline{G}) \]
其中：
\(L_{GAN}\)：the standard adversarial loss
\(L_{cyc}\)：the cycle consistency loss

定義下列符號，則\(L_{ID}\)能夠表示成：
\(a\)和\(b\)：original image from dataset A and B
\(G(a)\)和\(\overline{G}(b)\)：transferred image from image a and b
\(M(a)\)和\(M(b)\)：forground mask of image a and b

\[ L_{ID} = \mathbb{E}_{a \sim p_{data}(a)}\left[\left\| (G(a) - a) \odot M(a)\right \|_2\right] + \mathbb{E}_{b \sim p_{data}(b)}\left[\left\| (\overline{G}(b) - b) \odot M(b)\right \|_2\right] \]

遷移效果圖

總結

• 本文發佈了一個更接近實際應用場景的新數據集MSMT17，因其更接近實際的複雜應用場景，使得MSMT17數據集更具挑戰性和研究價值
• 本文提出了一個可以下降Domain Gap影響的PTGAN模型，並經過實驗證實其有效性