DeepFM: A Factorization-Machine based Neural Network for CTR Prediction (2017)論文要點

論文連接： https://arxiv.org/pdf/1703.04247.pdf

 

FM原理參考：

Factorization Machines with libFM 論文閱讀  http://www.javashuo.com/article/p-aknyuszs-mg.html

GBDT，FM，FFM推導  http://www.javashuo.com/article/p-oxdtvpfy-mg.html

 

類別型特徵one-hot編碼，連續型特徵直接表示或者離散化後one-hot編碼。

核心思想就是拿FM模型輸出的交叉項權重當作embedding使用，FM和Deep份量共用這個embedding。

所以不用預訓練（由於總體訓練），不用特徵工程（由於FM），同時有低階和高階交互項（由於FM和NN）。

 

評估：AUC，LogLoss(cross entropy)

訓練快速

激活函數：relu、tanh比sigmoid更經常使用；並且relu比tanh好（由於減小稀疏性）

Dropout: 0.6-0.9

Neurons per layer: 200-400

最優Hidden layer: 3

network shape: constant（等寬，「中規中矩」）