用於推薦系統評估的概念與指標（2）

新穎性一般指在推薦中出現新的物品，這在不一樣文獻中有不一樣的定義。在此，咱們將新穎性的定義和指標分爲三個層次，以下表所示。本文中把新穎性指標稱爲𝑛𝑜𝑣（𝑅𝑢）。

1. 平常生活級別的新穎性

建立衡量平常生活級別新穎性的指標並不是易事。新穎性等級1的衡量必須考慮系統上下文中的信息，以便衡量用戶已知和未知的內容。

2. 系統級別的新穎性

系統級別的新穎性有許多定義。簡單來講，對用戶而言，新項目是指用戶不知道或者知道不多的項目。

有人認爲，新穎性是指推薦系統預測用戶不知道且經過其餘渠道也不會發現的項目。新穎性也被定義爲推薦項目與用戶已消費的項目之間的差別。新穎性還被定義爲用戶預測列表中未知項目的比例。

在實踐中，以上定義僅在觀察用戶消費歷史中先前消費的物品時，纔會考慮新項目，而不會考慮系統外消耗的物品。總而言之，系統級別的新穎性是指在系統信息中用戶未知的項目。

大多數文獻中提出的的新穎性都是系統級別的新穎性。 有人提出了這樣一種評估方法：將推薦列表中的新穎性計算爲推薦列表中的項目與用戶歷史消費中的項目之間的類似性（𝐻𝑢），公式7即該度量標準。

另外一些人提出的新穎性則是計算用戶的推薦列表中的項目的流行度的總和，公式8 即爲這種方法。例如，能夠經過消耗該項目的用戶的數量來計算項目的流行度（𝑝𝑜𝑝）。此外，他們還提供了度量的變體，例如-𝑙𝑜𝑔2𝑝𝑜𝑝（𝑖）|𝑈| 。

3. 推薦列表級別的新穎性

第3級別涉及到推薦列表級別的新穎性，即不重複推薦的項目。從這個意義上講，新穎性被定義爲推薦列表中不包含用戶信息的不重複的項目。說新穎性與用戶未知的推薦列表中的非冗餘項目有關。簡而言之，級別3是級別2的極端狀況，級別3甚至不容許推薦列表中出現冗餘項目或重複推薦結果。

衡量新穎性第3級別僅須要調查推薦列表中的項目。新穎性第3級的指標不須要用戶信息。從這個意義上講，公式10可以計算推薦列表中項目的類似性，其中𝑑（𝑖，𝑗）表示項目𝑖和𝑗之間的距離。可是，該度量標準更像列表內類似性的度量標準，可能沒法衡量新穎性。

此外，還有人提出了一個衡量推薦列表中新穎性的指標，見公式11。該度量考慮了項目在通過排序的推薦列表中的位置，用於計算瀏覽列表的折扣函數（𝑑𝑖𝑠𝑐（𝑖𝑘）。此外，度量還計算用戶在瀏覽時看到項目（𝑝（𝑠𝑒𝑒𝑛|𝑖𝑘）的機率。因爲該機率是指用戶消費信息的不肯定性，所以該度量最好在新穎性的2級和3級之間進行分類。

多樣性

多樣性關注推薦列表中項目的豐富程度。對於多樣性指標，本文中使用的符號是𝑑𝑖𝑣（𝑅𝑢）。

一些人認爲，推薦系統的多樣性具備相反的類似效應。做者指出，變化小的推薦列表用戶可能不感興趣。另外一些人認爲，與用戶的消費歷史相比，推薦系統一般會預測相似的項目。所以，多樣性意味着平衡推薦列表以涵蓋用戶的整個興趣集。

與新穎性不一樣，多樣性的定義在文獻中大多一致。你們廣泛認爲多樣性表明推薦列表中的各類項目。

有關多樣性的度量，你們都傾向於將多樣性計算爲推薦列表中的項之間的不類似性。一些人提出了一種用於列表內類似性的度量，如公式12所示。函數𝑑（𝑖，𝑗）計算推薦列表𝑅𝑢中項目𝑖和𝑗之間的距離。該指標實際上捕獲了列表的類似性；所以，該度量標準的低值表示更類似的列表，其中項目彼此類似。

內部列表類似性度量也被其餘多樣性工做所使用。另外一些人把餘弦類似度做爲距離函數，該度量標準能夠在公式13中看到。

還有人提出了另外的指標，如公式14所述。圖14中的公式是針對列表內類似度的更具體的計算。該度量考慮了被分析的每對項目的位置的折扣函數（𝑑𝑖𝑠𝑐（𝑘）。此外，該度量還使用項之間的距離（𝑑（𝑖𝑘，𝑖𝑙），例如餘弦類似距離。

相關閱讀：

用於推薦系統評估的概念與指標

推薦系統的工做流程

白話推薦系統

想要了解推薦系統？看這裏！（2）——神經網絡方法

想要了解推薦系統？看這裏！（1）——協同過濾與奇異值分解

AutoML如何實現智能推薦系統的自動上線和運維？

入門推薦系統，你不該該錯過的知識清單

如欲瞭解更多，歡迎搜索並關注先薦微信公衆號（ID：dsfsxj）。

本帳號爲第四範式智能推薦產品先薦的官方帳號。帳號立足於計算機領域，特別是人工智能相關的前沿研究，旨在把更多與人工智能相關的知識分享給公衆，從專業的角度促進公衆對人工智能的理解；同時也但願爲人工智能相關人員提供一個討論、交流、學習的開放平臺，從而早日讓每一個人都享受到人工智能創造的價值。