論文筆記之Fashion Analysis系列一

Explainable Fashion Recommendation: A Semantic Attribute Region Guided Approach, In IJCAI,2019.

1. 簡介

本文主要是提出了一種基於語義屬性的可解釋個性化服裝推薦模型，即根據用戶的喜愛推薦服裝，並從服裝語義屬性（袖長，領口等屬性）的角度對推薦結果給出合理的解釋。本文的motivation是：用戶每每會有一些對服裝屬性的偏好，以下圖展現了兩個用戶的購買記錄，第一個用戶明顯傾向於購買有V領的衣服，第二個用戶傾向於購買鞋頭比較尖以及鞋跟比較高的鞋。

2. 挑戰

• 因爲許多大規模的電商數據缺乏細粒度的服裝屬性標註，因此服裝屬性的語義特徵表示難以學習；
• 用戶的偏比如較複雜，傳統的方法是將服裝圖片映射成一個特徵表示去建模，這難以生成可解釋性的推薦。

3. 方法

爲了解決以上兩個挑戰，文中提出了一種基於與語義屬性的可解釋系統（Semantic Attribute Explainable Recommender System，SAERS)。該系統包含兩部分，第一部分是語義提取網絡（Semantic Extraction Network， SEN), 它利用無監督的方式定位屬性相關區域並進一步提取特徵；第二部分是基於注意力機制的細粒度偏好建模機制（Fine-grained Preferences Attention，FPA)，該模塊主要是匹配用戶的偏好和細粒度的服裝屬性；最後利用貝葉斯個性化排序（Bayesian Personalized Rank, BPR）算法來進行優化 （因爲文本的實驗室將用戶購買記錄中的上品做爲正例，其他沒購買的商品做爲負例，所以至關於利用了隱反饋，因此採用BPR進行建模）。

模型框架圖：

1）. 語義提取網絡：
利用了兩個附屬數據集訓練，經過屬性分類和grad-AAM (AAM的改進版）的思想來生成屬性激活圖（Attribute Activation Map, AAM），並經過對AAM進行簡單的閾值操做定位與屬性最相關的區域（這裏只考慮屬性分類結果機率最大的屬性值），而後利用獲得的相關區域對最後一層卷積層獲得的特徵圖進行ROI pooling（其實就是隻對特徵圖中相關區域的激活值進行全局平均池化），最後提取出屬性的特徵表示。

2）