Beyond Globally Optimal: Focused Learning

這裏對WWW 2017文章《Beyond Globally Optimal: Focused Learning for Improved Recommendations》進行一個簡單的分析解讀。

文章亮點：

• 做者羣來自Google和Pinterest

• 第一次系統性的解釋了爲何用全局模型可能會在局部數據上表現很差

• 文章提出了簡單易行的解決辦法，可讓全局模型在局部數據上依然可以達到最優

• 文章很全面得在一些數據及上進行了比較完整的比較

 

這篇文章來自一羣前CMU的學者，目前在Google和Pinterest。那麼這篇文章試圖解決什麼問題呢？具體說來，就是做者們發現，傳統的推薦系統，基於優化一個全局的目標函數，一般狀況下每每只能給出一個很是有「誤差」（Skewed）的預測分佈。也就是說，傳統的推薦系統追求的是平均表現狀況，在不少狀況下的預測實際上是十分不許確的。這個狀況在評價指標是Root Mean Squared Error（RMSE）的時候，就顯得尤其明顯。

 

這篇文章的做者是這麼定義了一個叫作Focused Learning的問題，那就是若是讓模型在一個局部的數據上可以表現出色。那麼，爲何須要模型在一個局部的數據上表現出色呢？做者們作了這麼一件事情，那就是對每一個用戶，以及每個物品的預測偏差（Error）進行了分析統計，發現有不小比例的用戶的預測偏差比較大，也有不小比例的物品的預測偏差比較大。做者們發現模型在一些數據上存在着系統性的偏差較大的問題，而不是偶然發生的狀況。

 

做者們又從理論上進行了對這個問題一番討論。這裏的討論十分巧妙，大概的思路就是，假定如今在全局最優的狀況下，模型的參數的梯度已經爲0了，但模型的Loss依然不爲0（這種狀況很常見）。那麼，就必定存在部分數據的參數梯度不爲0，由於某一部分數據的Loss不爲0。這也就證實了部分數據的模型參數在這些數據上的表現必定不是最優的。值得注意的是，這個證實很是廣泛，和具體的模型是什麼類型沒有關係。

 

在有了這麼一番討論以後，那麼做者們如何解決這個問題呢？這篇文章走了Hyper-parameter Optimization的道路。文章展現了這在普通的Matrix Factorization裏面是如何作到。具體說來，就是對於某個Focused Set作Hyper-parameter的調優，使得當前的Hyper-parameter可以在Focused Set上可以有最好表現。而這組參數天然是針對不一樣的Focused Set有不一樣的選擇。文章提到的另一個思路，則是對Focused Set以及非Focused Set的Hyper-parameter進行區分對待，這樣有助於最後的模型可以有一個比較Flexible的表達。

 

文章在實驗的部分針對幾種不一樣的Focused Set進行了比較實驗。好比，針對Cold-Start的物品，針對Outlier的物品，以及更加複雜的libFM模型都進行了實驗。咱們在這裏就不去複述了。整體來講，Focused Learning在不一樣的數據集上都獲得了比較好的提高效果。同時，做者們還針對爲何Focused Learning可以Work進行了一番探討，整體看來，Focused Learning既照顧了Global的信息，同時又經過附加的Hyper-parameter調優對某一個局部的數據進行優化，因此每每好於Global的模型以及也好於單獨的Local模型。