2021MM PSR解讀

Pairwise Similarity Regularization for Adversarial Domain Adaptation

動機：

現有基於對抗的方法會使用源域分類器僞標記目標域樣原本實現條件分佈的域對齊。但目標域結構比源域複雜的時候，假標籤不可靠。

舉的例子是office-31 ResNet DANN, CDAN.A-W能達到八九十準確度，而W-A只有六七十。同時驗證每一個batch裏的假標籤準確率，CDAN在W-Abatch準確率只有50%左右也不可靠（不過CDAN不是有Entropy加權嗎）

Pairwise Similarity Regularization (PSR)

方法

使得同一個簇裏面的兩個目標域樣本具備相同的預測。整體框架以下。框架上半部分是學生模型，下面是老師模型。老師模型用於聚類，打pair標籤。學生模型就是普通的對抗網絡，但加上了pair約束。

Source-aided Target Clustering（Teacher Model）

使用DeepCluster model【1】（18年的深度聚類結構），

優化使用兩個loss，首先是clustering loss:

A是形心舉證，ycl是聚類標籤。這個loss對應的是Kmeans裏指派形心和歸類的過程。能夠看出這裏是不優化任何網絡參數的。

另一個loss是source-aided loss：

loss由（1）從剛剛獲得的目標域聚類假標籤計算的分類損失和（2）源域真實標籤的分類損失組成。β是平衡因子。

Guiding Adversarial Training with Pairwise Similarity Regularization

每一個訓練迭代，聚類標籤ycl由Teacher Model給出，而後構建pair關係圖Rcl，同時學生模型也根據預測構建pair關係圖。計算一個MSE loss。

而後加上分類損失和對抗損失，基本跟CDAN，DANN同樣。
【1】 Deep clustering for unsupervised learning of visual features

實驗

在office31，office-home，visda，digit進行驗證，效果差很少就是現有最好的了。

評論

看完一個感受是，方法咋跟我投ICCV的這麼像，我發誓投以前絕對沒看過他的。客觀來講，個人跟他仍是不少不一樣的，但思想很相似，創新性也很難說誰高誰低。可是它這個效果有點誇張了，D-A，W-A到了80+？其它都在5%以上，沒開源很差說。