YouTube和今日頭條很委屈：色情暴力的鍋推薦系統該不應背？

本文由 「AI前線」原創，原文連接： YouTube和今日頭條很委屈：色情暴力的鍋推薦系統該不應背？
做者｜Vincent,Debra Chen
編輯｜Emily

AI 前線導讀：」YouTube 的「艾莎門」（Elsagate）事件讓隱藏在視頻網站裏的「兒童邪典視頻」問題獲得曝光，國內外各大視頻網站對自家網站的同類視頻進行了清理整改。家長們除了憤怒以外，還向這些網站提出了質問：爲何個人孩子會收到這些視頻的推薦？

推薦系統，人工智能技術落地最爲普遍的技術之一，在這一段時間成爲了衆矢之的，不只是視頻網站，很多新聞網站或 App 好比今日頭條，也被發現向用戶推薦低俗化內容的問題。而以技術聞名世界的 Facebook 也被曝出有假新聞推薦的問題。

因而問題來了：推薦系統到底該不應被這個巨大的「黑鍋」，或者說，這些問題的出現真的全都是技術的錯嗎？」

t.cn/RE5zhWm (二維碼自動識別)

（推薦一個推薦系統專欄，掃碼微信訂閱，如今註冊立享 30 元新人紅包）

事件回顧

YouTube Elsagate 事件

先來回顧一下幾個月前沸沸揚揚的這場「艾莎門」事件吧。

2017 年 12 月，YouTube 上的 Elsagate 門引發了輿論的巨大轟動和公衆的集體討伐。事實上，Elsagate 並非近期纔有的事件，早在 2016 年就有機構或公司將兇殺、綁架、懷孕、注射、互相毆打、血腥、暴力等不宜兒童觀看內容以 Elsa、蜘蛛俠、米老鼠等卡通形象，錄製成動畫或真人演出，並上傳至 YouTube。引起此次事件的視頻內容讓人震驚，尤爲是有孩子的父母。

從推薦算法機制來看：典型的推薦系統一般由挖掘、召回、排序三部分構成漏斗模型，在理想狀態下，通過這三層漏斗的層層過濾，最終通過殘酷 PK 留下來的信息應該是比較純淨、優質的信息。然而，推薦系統每每是不完善的，在這三層過濾網的任何一個環節都有可能出現問題，被一些利益團體惡意利用，謀取利益。

用 YouTube 簽約算法訓練工程師的話來說，這家全球最大的互聯網視頻平臺內容的評價機制能夠用「讓人疑惑」和「不完善「兩個詞來形容。雖然 Google Brain 算法讓 YouTube 視頻播放量成功提高了 20 倍，但 Elsagate 卻正是利用了 YouTube 推薦算法的漏洞才達到了目的。簡單來講，YouTube 推薦算法包含兩個神經網絡，第一個是生成候選集，它以用戶的觀看歷史做爲輸入，使用協同過濾算法在數以百計的視頻中進行選擇；第二個神經網絡用於對這幾百個視頻進行排序。該系統使用邏輯迴歸計算每一個視頻的得分，而後不斷地使用 A/B 測試進行改進。

利用 YouTube 算法的這些特徵，這些視頻背後的利益既得者 Elsagate經過爲大量動漫角色的名字和打上搞笑、兒童等標籤，讓算法自動斷定其爲兒童視頻，並出如今推薦排序的前幾名，兒童只要點進一個，網站就會推薦同類型的視頻一個接一個地播放。另外，因爲算法在挖掘階段物料處理能力、召回階段的馬太效應、排序階段的惟轉換率論，致使大量 Elsagate 視頻搭乘上算法的快車，垂手可得地登上 YouTube 熱門視頻，讓無監督的兒童成爲受害者。

今日頭條數次被「請喝茶」

2017 年，頭條因內容低俗化和侵犯公衆隱私成爲輿論批評的衆矢之的。

對於引發公衆恐慌的「麥克風事件「，今日頭條表示，從技術上看，目前聲音信息的處理，也遠達不到經過麥克風去獲取我的隱私的水平，「今日頭條用戶信息的積累，徹底是經過用戶在今日頭條上的點擊等數據行爲所產生的。」

雖然頭條發出了聲明，但用戶仍然心有餘悸，並對解釋存疑。在百度帖吧、知乎、微博等社交平臺上，有很多網友反映本身的講話內容與頭條推薦資訊實現匹配的帖子，甚至在淘寶、微信羣裏說話的內容都會在次日收到匹配的推薦。

事實上，今日頭條已經不是第一次收到政府「請喝茶」的邀請函了。2017 年 12 月 29 日，今日頭條因持續傳播色情低俗信息、違規提供互聯網新聞信息服務等問題，多個頻道被關停 24 小時。頭條被質疑經過算法等技術手段向用戶推薦那些容易得到流量的色情低俗類資訊，從而謀取廣告收益。

而今年春晚以前，原本準備大幹一場的今日頭條旗下兩款產品——「火山小視頻」、「抖音」，也遭遇了春晚冠名被多家衛視臨時撤下的尷尬窘境。

早在去年 6 月，北京市網信辦下令關閉頭條上的十幾個帳號，要求其和其餘新聞門戶網站遏制明星醜聞報道，「積極傳播社會主義核心價值觀，營造健康向上主流輿論環境」。

2017 年 9 月，《人民日報》發表一系列評論文章，嚴厲批評今日頭條等基於人工智能的新聞應用傳播錯誤信息和膚淺內容。

做爲迴應今日頭條 App 的母公司北京字節跳動科技有限公司註銷或暫停了 1100 多個博客帳戶，聲稱那些博客在該應用程序上發佈了「低俗內容」。它還用一個名爲「新時代」的新版塊取代了「社會」版塊，新版塊裏有大量官方媒體對政府決策的報道。

無獨有偶，國內最大的自媒體平臺微博的熱搜板塊也被下架整改，熱門部分增長「新時代」板塊。

Facebook 廣告模式支持假新聞

另據福克斯新聞報道，曾擔任社交網絡隱私和公共政策顧問的 Dipayan Ghosh 表示，干涉美國大選和英國退歐事件的那種假情報與 Facebook 做爲廣告平臺的性質密切相關。Ghosh 和他的合着者 Ben Scott 在「新美國基金會」發表的報告中寫道：「政治虛假信息成功傳播是由於它遵循了基本的商業邏輯，有人會從產品中受益，而且讓更普遍的數字廣告市場策略變得更加完善。」

2017 年，在美國大選後不久，由於 Facebook 虛假信息事件的影響，Ghosh 離開了 Facebook。 在新的報告中，他和 Scott 認爲，只要一個社交網絡的核心業務模式受到廣告、算法和用戶關注的影響，試圖對平臺進行調整的嘗試就註定要失敗。

Facebook 用戶衆多，假新聞的問題幾乎能夠影響到全球全部使用社交媒體的用戶，形成的負面影響到全球大多數人。

Facebook 使用了一套不同凡響的算法，稱爲 EdgeRank 算法。它的 news feed 算法和谷歌的搜索引擎算法、Netflix 的推薦算法都是分佈式的複雜算法，包涵不少小的算法。

從最初依靠主觀拍腦殼的「刀耕火種」時代，Facebook 一路通過收購 FriendFeed 並將其點讚的功能合併進來，到現在算法已經通過無數迭代，但總的路線——興趣 feed 一直保持不變。Facebook 和它的新聞流算法通過 EdgeRank 算法的訓練，向用戶展現愛看的內容。

因爲 Facebook 在信息傳播中的角色已經發生了變化，成爲實際上的內容分發中介，相應地你們認爲其應該擔負起識別信息真實性的責任。假新聞事件不斷髮酵後，公司陸續推出一系列措施打擊假新聞，包括簡化用戶舉報虛假資訊的流程、經過第三方事實覈查機構對有爭議的內容作標記等。2017 年上線了「爭議標籤」功能，即用戶對具備爭議的新聞打上舉報標籤，以下圖所示：

不久前，Facebook 宣佈調整首頁信息流的算法規則，將新聞在信息流中的比例從目前的 5% 降低至 4%。

然而，這樣的方法起到的效果仍是十分有限，由於後續 Facebook 又發生了數次假新聞事件，也正如但華爾街時報指出的那樣，Facebook 調整信息流每一年幾乎是例行公事，起到的效果有限，每一次嚴重依賴 Facebook 平臺的出版商都會強勢反彈。

問題出在哪兒？

這一系列的事件都把矛頭指向了推薦系統，可是推薦系統技術真的錯了嗎？

關於低俗內容被推薦這回事，顯然不是直接給推薦系統的開發方扣上一個帽子就完事那麼簡單。一篇內容從生產到被人消費（閱讀）都大體有這麼個鏈條：創做，發佈，抓取，分發，點擊，閱讀。

六個環節，是三波人在參與：創做和發佈是一撥人，內容生產者；抓取和分發是第二波人，不少都用上了推薦引擎；第三波進行點擊和閱讀就是內容消費者。如今討伐的是低俗內容被人看到，顯然只討伐中間的推薦引擎是不合適的，固然不討伐也是不可能的，三波人都脫不了干係。

若是推薦引擎沒有人工干預的痕跡，那麼一條低俗垃圾內容被推送到用戶首頁，最有可能的緣由就是：它真的很受歡迎，由於用戶行爲是推薦系統最倚重的數據。在這種狀況下，除了平臺自查，人工干預以外，在技術上，能夠嘗試作這些事：

• 在內容分析上，利用人工篩查的數據作樣本，訓練一些識別模型，能夠把低俗垃圾內容再細分一下，分別訓練不一樣的識別模型，輔助人工作快速篩查；
• 在內容抓取上，控制抓取源頭的質量，避開低俗垃圾內容的重災區；
• 在推薦分發上，從純粹的數據驅動轉變到數據啓示，推薦算法的優化目標從單一目標轉到多目標優化，除了考慮效果指標，還考慮內容多樣性。在用戶行爲的使用上，也要有所甄別，考慮用戶價值。在熱門內容的使用上，有所甄別和有所剋制，採用一些類別的熱門內容或者採用某些優質用戶圈子的熱門內容，而非全局熱門內容。等等。

不管哪家內容分發平臺，他們都不肯意看到被低俗垃圾內容佔據，畢竟既影響品牌形象，又有一些運營風險，但在一些利益驅動下會一直有人以身試法，因此這是一個永不中止的攻防過程，沒有結束的那一天。

對於「艾莎門」這樣的狀況和信息流中的低俗垃圾內容氾濫同樣，若是要用技術手段予以打擊，那麼重點仍是在對內容自己的深度挖掘和識別上。「艾莎門」的難度在於，它在形式上（堆砌關鍵詞、模仿動畫片角色）作足了功課，可是在劇情上有很是強烈的暗示、色情、暴力、虐待等。

AI 前線瞭解到，從技術手段上仍是能夠利用人工標註、機器學習來識別一部分違規內容，「艾莎門」有兩個特色卻是能夠在訓練模型時重點考慮，一個是很是強烈的色彩，能夠說辣眼睛了，還有就是經常伴隨尖叫和哭聲，這些在正常的兒童視頻中都是不正常的。但歸根結底，這必須得靠人和機器協同才能見效卓著。

從多個角度看，網絡上出現的這些垃圾信息推薦的問題都和推薦算法沒有直接關係，這些東西都是在數據內容分析算法上須要改進。推薦算法關注的是知足用戶興趣，探明興趣後推薦相應的東西，顯然對假消息、低俗垃圾這類內容的遏制打擊不該該重點在這個過程當中作，而應該在源頭上作。

影響推薦系統質量的因素

推薦系統可以開出這麼多「惡之花」，就說明目前仍有不少難題亟待解決。 AI 前線爲此採訪到了推薦系統的技術專家——鏈家網資深算法專家刑無刀（陳開江），他認爲，推薦系統目前最大的難題有這樣兩個：第一個是冷啓動問題，第二個是探索和利用問題。

冷啓動的解決方法主要仍是想辦法引入更多的第三方數據，讓冷變熱；純技術手段解決的話，通常是強化學習，簡單點就是多臂老虎機，但光靠技術手段解決冷啓動有點不現實，通常要配合各類運營手段，有點「寓教於樂」的意思。

第二個問題就是探索利用問題，有時候也叫做 EE 問題。如今一切媒體會稱之爲信息繭房，意思就是越推越窄。究其緣由，推薦算法在用戶物品關係矩陣中攫取有效信息反過來填充這個矩陣，這是一個正向自我強化過程，越走越窄是宿命。這也就是在探測到用戶興趣後，只是開採利用，而不發現新的用戶興趣。能夠說沒有推薦系統可以避免這個歸宿。若是隻有開採利用，則推薦系統是一個封閉系統，封閉系統永恆熵增，無一例外都要走向冷寂，表如今推薦系統上就是，說不上你推得很差，但就是再也不想看了。惟一的辦法就是不要讓推薦系統變成封閉系統，須要不斷引入與外部的信息交換，好比不依賴用戶興趣，以隨機的方式推薦，好比引入外部其餘產品中的數據，等等。

除了算法自己的缺陷外，還有不少影響推薦內容質量的因素，如審覈機制、用戶因素、數據因素、算法策略因素、工程架構因素等都會對推薦效果產生影響。以 YouTube 的審覈機制爲例，咱們來看看審覈機制會對內容推薦產生多大的影響。

據外媒 BuzzFeed News 報道，他們所掌握的 YouTube 視頻審覈大綱和對 10 名現任和前「評級員」的採訪透露出，YouTube 的簽約搜索算法工程師表示 YouTube 系統中存在缺陷，這些所謂的「guidelines」也多有互相矛盾之處，他們推薦「高質量」視頻的依據更多的是基於「產品價值」，而無論視頻內容是否會引發不一樣年齡階段用戶的不適。這不只致使成千上萬的 Elsagate 視頻在網絡上傳播，並且還在算法上讓這些視頻更容易被人搜索到。

評級員稱，在過去的 10 年多時間裏，他們接受了 100 多項評估設計兒童的視頻是否安全的任務。「僅一天時間我就作了 50 多項關於兒童的視頻，時長約 7 小時。」一名評級員說道。「然而這些視頻都不是應該給孩子看的，做爲父母，我對這點感到很憤怒。」這些視頻雖然說是動畫片，可是卻包含大量粗話、葷段子、傷害他人和性相關的內容。當孩子在無監督的狀況下看到這些視頻的時候，這真的是一件可怕的事。

據這些評級員無權決定 YouTube 上的視頻的搜索結果排位，視頻內容是否違背 guidelines，以及刪除進行對觀看觀衆進行年齡限制，斷定爲非法廣告等，由於這些內容干預的權力落在 Google 和 YouTube 其餘小組的手裏。

在經歷過此次風波以後，YouTube CEO Susan Wojcicki 站出來聲稱將增強平臺的人工審覈力度，2018 年審覈工做人員將增長至 1 萬名，YouTube 的評級員最近也被授予斷定視頻內容的權力，9-12 歲兒童在無監督的狀況下看到 的內容只有在父母認爲無害的狀況下才能夠過審。

增強審覈制度的效果咱們不得而知，但經驗告訴咱們，審覈機制中的人工因素不可或缺。

好的推薦系統應該是什麼樣的？

那麼從算法、數據、架構、產品形態等方面，如何設計一個更好的推薦系統？什麼樣的推薦系統是「好」的推薦系統？

先來看一組好的推薦系統帶來好處的例子。

據亞馬遜財報顯示，該公司在第二財季銷售額增加 29％至 128.3 億美圓，高於去年同期的 99 億美圓。這種增加能夠說與亞馬遜將推薦系統應用到從產品發掘到結帳的整個採購流程幾乎每個環節中的方式有很大關係。

今日頭條每一年增長一億的用戶量，YouTube 結合 Google brain 推薦算法，觀看時長每一年都增加了 50％，推薦系統均功不可沒。

以上僅是少數推薦算法爲咱們帶來便利和好處的其中少數案例，還有不少其餘的應用給用戶體驗帶來提高也是客觀存在的事實。

受訪專家 刑無刀 認爲：「好的系統都不是設計出來的，都是進化出來的，很難說設計一個更好的推薦系統。推薦系統終歸是爲產品體驗服務的，仍是迴歸本質，優化推薦系統沒有什麼標準手冊，天天去體驗本身的產品，去看數據，去洞察數據，而不是惟數據是從。」

AI 前線還了解到，深度學習在推薦系統中已經有了不少應用，典型的有：內容的表達學習、embedding；RNN 用於序列推薦；還有更多的就是代替傳統的單用線性模型的融合排序上，好比 Wide&Deep 模型。這些應用均可以用來加強推薦系統的功能，優化推薦系統的體驗。

反思：利益和社會權益之間的權衡

天下熙熙皆爲利來，天下攘攘皆爲利往，這句真理歷經千年在全部時間全部地點仍然適用，利益的驅使讓不少平臺丟了節操。

難道全部團隊都像某些平臺同樣沒節操嗎，總有堅守正確價值觀的平臺吧？這個問題咱們不敢妄下定論，但從目前各大平臺曝光的狀況來看，以上所提到的各大平臺，如國外的 Facebook、YouTube、谷歌等，其對違背社會道德和價值觀內容的放縱，以及有引導性的搜索結果，讓人不得不懷疑是背後的利益價值鏈在驅使着他們作出這樣的選擇。

在國內，最大的自媒體平臺今日頭條、微博等平臺也遭到相關部門的介入整改，大平臺尚且如此，能夠想像還有多少被業內默認的潛規則在悄悄發揮着做用，讓人不得不懷疑天天咱們看到的信息背後隱藏着多少的利益鏈，也讓人們思考用戶如何才能擺脫「被消費」的窘境。然而，這些措施雖然能夠遏制一部分違背社會價值的內容在平臺上出現，但卻仍會一晚上之間冒出更多。

「這背後是整個內容分發平臺廣泛存在的‘價值失調’問題所引發的。」Selman 說道，「這是關於企業利益與社會利益之間的矛盾。」當企業利益於社會利益產生不可調和的矛盾時，監管的介入和企業的責任感，都是還用戶一片淨土的關鍵點。

總之，不只是咱們今天討論的推薦算法這個話題，全部技術上的進步都會有「惡魔」的一面，但畢竟它們的本質只是工具，和一把手術刀同樣，它能夠用來殺人也能夠救人，它究竟能起到什麼做用，對社會是否有益還取決於使用它的人是仁醫仍是殺人惡魔，以及使用它的目的。

參考文章：

[1]www.foxnews.com/tech/2018/0…

[2]www.wired.com/story/dont-…

[3]www.cnet.com/news/youtub…

[4]www.buzzfeed.com/daveyalba/y…

[5]qz.com/1194566/goo…

如何從零開始快速搭建一個推薦系統？咱們的被採訪嘉賓刑無刀老師有一套課程推薦：

做者介紹

刑無刀，本名陳開江，如今是鏈家網資深算法專家，從事算法類產品的研發。曾任新浪微博資深算法工程師，考拉 FM 算法主管。從業 8 年時間，刑無刀的工做和研究範圍始終沒有超出推薦系統。

這些年，刑無刀曾服務過創業公司、傳統大公司和大型互聯網公司，這些經歷也讓他見證了大大小小、形狀各異的推薦系統的構建過程。又由於他基本都從 0 到 1 參與了這些公司的推薦系統，因此也清楚這中間都有哪些坑。

更多幹貨內容，可關注AI前線，ID：ai-front，後臺回覆「AI」、「TF」、「大數據」可得到《AI前線》系列PDF迷你書和技能圖譜。