斯坦福研究人員讓AI看了100部好萊塢大片，培養出了一個「吻戲識別大師」

編輯：大明

【導讀】斯坦福大學研究人員給AI模型看了100部好萊塢電影，讓AI看懂了什麼是接吻，並從視頻片斷中分割識別出接吻的鏡頭場景，並且把接吻和性愛場景區分開來。嗯，想開車的朋友可能要等等，但想看吻戲的朋友這回能夠一次看個夠了。

和大多數沒有接過吻的人同樣，AI學接吻這件事最開始也是經過觀看愛情電影片斷進行的。AI經過看電影來了解關於接吻的基本知識，尤爲是看看那些好萊塢明星的嘴脣動做到底是什麼樣的。

研究人員對熟練掌握識別面部識別和目標識別的深度學習算法進行了訓練，識別由專業演員戲劇化的熱吻場景，這代表，AI系統已經可以更深刻地瞭解最親密的人類「交流」活動。

電影《泰坦尼克號》中男女主角著名的「船頭接吻」鏡頭

這項研究來自Netflix的高級數據科學家Amir Ziai，他正在斯坦福大學攻讀AI專業研究生。Ziai從過去一個世紀的好萊塢電影數據庫中挑選了100部電影的表明性片斷。而後手動將不一樣的電影片斷標記爲接吻/非接吻場景，並使用來自這些片斷的靜止圖像幀和聲音片斷來訓練深度學習算法，以檢測影片中親吻的場景和聲音。

尋找非交叉接吻動做分割片斷的算法僞代碼

不過請不要誤會，目前還不清楚這個測吻的方法是否能夠用於親吻以外的進一步性愛場景的識別。對此，Ziai 表示：「在個人訓練數據集中有意遠離了過分的性愛場景，以確保模型不會混淆接吻和性愛」。

Ziai目前的僱主Netflix沒有參與斯坦福大學的這項研究，該研究一發表在預印本服務器arXiv上。Ziai還沒有研究該技術在Netflix上的可否得到一些應用前景。但不難想象，這類視頻識別技術可能會讓Netflix或其餘公司（如YouTube，Facebook，Instagram和TikTok）很感興趣，由此技術開發出的商業應用能夠處理大量流媒體或存儲視頻。

2019年4月，谷歌宣佈其Pixel智能手機已經可以接收Photobooth功能更新，能夠在智能手機攝像頭拍攝的視頻中檢測到接吻時進行自動拍照。Ziai展現了與視頻有關的接吻檢測技術，將來的應用能夠對視頻內容進行自動分類，爲用戶打造個性化的視頻推薦列表，甚至可能充當在線視頻審覈的部分做用，對某些內容的視頻進行篩選。

「這是一個很好的例子，說明現代計算機視覺技術如何可以至關容易地開發特定的'感知和響應'軟件，提示定性/非結構化的東西（如場景中的接吻），」OpenAI策略與轉播主管傑克·克拉克說，他的導入人工智能新聞通信，最近突出了親吻檢測研究。「我認爲這是AI改變我的軟件開發方面，將來受關注潛力最高的領域之一。」

目前對親吻場景識別最成功的深度學習模型是ResNet-18，這是一種圖像分類算法，已經基於ImageNet數據庫中的超過一百萬張圖像進行了預訓練。爲了可以正確識別接吻的聲音，使用名爲VGGish的深度學習模型，利用每一個接吻場景的一秒鐘片斷的後960毫秒的音頻進行了訓練。

使用這種左右開弓的訓練方式，AI模型處理接吻的圖像和音頻的方式，讓整個模型得到了高達的0.95的F1分數 - 這一分數用於衡量算法（對於誤報和假陰性的）精度的加權平均值。

可是，面對一些電影場景中視頻編輯過多，以及和攝像機角度問題時，模型可能會無能爲力。拍攝演員接吻的遠景鏡頭有時會騙過算法，由於這種狀況下，大部分相機鏡框內都是風景背景。快節奏的視頻剪輯和不包括兩個演員的鏡頭也證實是具備挑戰性的。

要弄清到底是AI模型到底是根據哪些特定數據模式進行預測是比較困難的事情。人類嘗試理解AI邏輯的一種方法是使用顯着性圖來突出顯示在分析過程當中受到AI最多關注的數據。在好萊塢電影中的親吻場景中，深度學習模型彷佛更加關注與演員面部相關的圖像像素。

Ziai說，一些「有限的實驗」也代表，AI模型更依賴視覺特徵，而不是音頻特徵來識別接吻場景。實驗代表，利用更加「精心調整的數據集」會更有利於接吻探測系統的性能發揮，而且可能利用更多的背景信息，而不只僅是靠靜止圖像來識別接吻場景。

帕特里克·斯維澤和黛米·摩爾在1990年的電影《幽靈》中的接吻畫面，該影片是數據科學家用於訓練AI模型識別接吻場景選取的100部電影之一

目前還不清楚AI模型在所有100部好萊塢電影中的識別表現如何，如《安娜·卡列尼娜》（1935），《幽靈》（1990）和《皇家賭場》（2006）將在更大的電影數據集中發揮做用。可是，在訓練數據集超過80個視頻後，該模型僅僅出現了「邊際化的性能提高」，Ziai說。好萊塢電影數據集和一些計算資源由斯坦福大學計算機科學助理教授Kayvon Fatahalian實驗室提供。

另外一個問題是，這種接吻AI識別模型是否可以在檢測社交媒體上常見的視頻中的接吻場景時表現出至關的精度。這一挑戰可能須要對更大的視頻數據集進行額外的訓練。儘管如此，一些初步測試仍然代表，這種方式有望誕生更普遍的AI接吻檢測應用。

「這項研究的嘗試是使用多樣化的數據集，讓模型不會過分適應任何特定類型的電影，」Ziai說。「有趣的是，它彷佛在我發現的一些YouTube視頻上的性能表現至關不錯。」