BBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition

　　一篇解決圖像識別問題中「長尾分佈」的論文，也是cvpr20的oral，想法簡潔有效：解耦分類網絡的特徵學習層和分類層。論文地址：BBN 。

　　常見的物體類別在識別問題中佔據主導地位，而罕見的類別則數據較少。長尾分佈在某種程度上能夠視做比正態分佈更普遍存在的一種天然分佈，現實中主要表如今少許個體作出大量貢獻（少許類別的樣本數佔據大量樣本比例）。類別極度不平衡時易致使模型學習很是容易被「頭部」類別主導而產生過擬合，同時模型對於「尾部」數據的學習不夠而致使預測不許。此外，深度學習模型基於batch的訓練特性帶來的模型遺忘問題在長尾數據分佈狀況下尤其突出。

　　在深度學習中，特徵學習和分類器學習一般是被耦合在一塊兒進行端到端學習，而在長尾分佈數據的極度不平衡狀態下，特徵學習和分類器學習的效果均會受到不一樣程度的干擾。文中首次揭示了重採樣（re-sampling）和重權重法（re-weighting）這類類別重平衡（class re-balancing）的方法其奏效的緣由在於顯著提高了深度網絡的分類器學習模塊能力。然而該類方法因爲刻意改變樣本數目（重採樣法）或刻意扭曲數據分佈（重權重法），在必定程度上損害深度網絡學習到的特徵。基於此。文中提出了一種雙分支神經網絡結構來同時兼顧特徵學習和分類器學習。將深度學習模型這兩個重要模塊進行解耦，從而保證兩個模塊互不影響，共同收斂最優。該方案也是2019屆iNaturalist旗艦賽事世界冠軍的solution：代碼在這。

 分析：

上圖在兩個數據集進行實驗，發現當固定特徵學習時，固定某一列，發現CE是最差的表現，而RS表現最好，說明該方法能夠促進分類器學習。而當固定分類器時，即固定某一行，看到CE有最好的表現。因此證明了加權或者採樣的這些方法是會損害特徵學習的！那麼最好的方案天然是利用RS進行分類器學習，CE進行特徵學習。繼而提出的雙分支網絡結構以下：

比較有趣的地方有如下幾個點：下分支的倒置採樣器和特徵加權聚合兩個地方。

上分支採樣器保持均勻採樣，是爲了維持特徵學習，保持原有數據分佈。倒置採樣器是根據樣本出現頻率逆着採樣，即高頻樣本較小的採樣權重。目的是爲了減輕樣本的不平衡，提高尾部類別的分類精確度。

在特徵聚合處能夠看到有兩個特徵被提取：fc和fr，相繼與兩個權重（分類器W）相乘後進行加權：（有點mixup的味道）

而後獲得z，z就是得分，利用softmax進行歸一化：

 在計算損失的時候，也是加權計算：從下式看來損失是該預測結果以alpha機率屬於類別yc和以機率1-alpha屬於類別yr。