第十期「AI將來說·青年學術論壇」視頻理解與推薦專場

時間 2019-11-06

標籤十期將來青年學術論壇視頻理解推薦專場简体版

原文原文鏈接

2019年10月27日下午，「AI將來說·青年學術論壇」第十期視頻理解與推薦專場，在中國科學院大學中關村校區3號教學樓第二層S201教室舉行。算法

AI將來說活動現場微信

「AI將來說·青年學術論壇」系列講座由中國科學院大學主辦，百度全力支持，讀芯術、PaperWeekly做爲合做自媒體。承辦單位爲中國科學院大學學生會，協辦單位爲中國科學院計算所研究生會、中科院計算機網絡信息中心研究生會、人工智能學院學生會、化學工程學院學生會、公共政策與管理學院學生會、微電子學院學生會、數學與系統科學研究院研究生會。網絡

據《2018中國網絡視聽發展研究報告》顯示，截至2018年6月，我國手機視頻用戶數量達到5.78億，短視頻用戶5.94億，直播用戶4.25億，音頻用戶3.0億，互聯網電視用戶2.18億。從信息方面來看，視頻是圖像、聲音、文字的綜合載體，並且又具備了時間連續性，它更加貼近人類對於真實世界的認知。隨着信息技術的發展，視頻將成爲最主要的信息傳播方式，普遍應用與人際交流、社會生活、工業生產的各個方面。面對於海量的視頻內容，僅靠人工處理是沒法完成的，所以迫切須要經過計算機技術實現對於視頻內容的智能化理解，實現自動化、智能化的視頻內容生產、處理和分發，這也將是將來技術發展的下一個大風口。架構

袁曉如老師做「智能數據可視分析」的報框架

北京大學信息科學與技術學院的袁曉如老師做了智能數據可視分析的報告。他擔任機器感知與智能教育部重點實驗室副主任和大數據分析與應用國家工程實驗室常務副主任,長期致力於可視化與可視分析通用基礎方法與領域應用系統的研究,領導了一支具備國際知名度的可視化研究隊伍。袁曉如老師在報告中經過回顧可視化的發展歷史，指出可視化是基於計算機的可視化系統經過提供對數據的視覺表達形式來幫助人們更有效地完成特定任務的過程。可視化能夠更好幫助人們對事物創建心理模型或者心理圖像。報告中，袁曉如老師對將來可視化發展趨勢的開展了討論，指出可視化研究須要發展面向更復雜數據的新穎方法；提升可視化的開發便捷性的可視化；提高用戶使用可視化的便捷性；與創意和美的進一步結合。袁曉如老師指出，人和機器各有所長。計算機在數據存儲和數值計算遠超人類，技術的發展，使得機器也初步具備分析、預測能力；而人類在復瑣事物認知、常識和創意的能力機器尚沒法實現。經過設計好的可視化做爲界面，把人和機器結合起來，能夠大大提升人類的知識認知能力。大數據、人工智能和計算能力是計算機科學拉動社會前進的三架馬車，可視化能夠幫助人類更好第駕馭計算和數據。機器學習

劉經拓老師做「視頻基礎技術探索及應用微服務

做爲業界視覺技術專家、百度視覺技術部主任架構師，劉經拓老師報告的主要內容包括互聯網視頻基礎技術研究以及應用概述、視頻分類算法以及視頻生成算法三個部分。首先，劉經拓老師介紹了百度視頻技術應用場景，包括長視頻（愛奇藝）、短視頻（手機百度資訊流和好看APP）和微視頻（全民小視頻）。在引入應用場景之後，介紹了互聯網基礎視頻AI技術：1）視頻理解；2）視頻編輯；3）算力優化。接着，詳細介紹了視頻理解中的視頻分類技術，列舉了四類經典的視頻分類優化算法：1）多模態信息融合；2）多幀時序信息優化；3）關鍵幀採樣分析；4）大規模視頻分類。此外，還結合百度飛槳（PADDLEPADDLE），詳細介紹了大規模視頻訓練的構建流程。隨後，詳細介紹了視頻編輯中的視頻生成技術。藉助百度視頻編輯Demo，介紹了基於GAN（GenerativeAdversarial Network）的視頻編輯功能分析技術：1）Pixel2Pixel建模-Conditional GAN；2）訓練框架U-Net，並介紹了其應用：1）黑白照片轉彩色；2）人臉屬性編輯；3）基於人體關鍵點約束的視頻動做遷移；4）超分辨率重建。最後，介紹了Paddle GAN算法庫，並對報告進行了總結。性能

陳國慶老師做「視頻理解在百度推薦中的學習

做爲百度傑出架構師，陳國慶老師報告的主要內容包括：1）視頻理解技術在百度Feed視頻推薦中的使用（包括短、小視頻視頻理解技術）；2）質量特徵在視頻推薦中的應用；3）內容生成&加強技術在內容生產、視頻質量提高方面的應用；4）視頻指紋系統在C端內容去重以及B端做者權益方面的應用；5）產品創新。首先，陳國慶老師介紹了Feed內容模型，其組成分別爲：1）內容質量；2）內容理解；3）內容生成；4）基礎算法；5）視覺技術，Feed內容模型爲Feed推薦系統服務，與產品創新和做者權益保護也有關係。接着，分別介紹了圖文理解和視頻理解的案例，重點介紹了視頻理解的過程：長/短小視頻→多模態視頻理解→視頻標籤體系，並詳細講述了多模態視頻分類和隱式語義這兩種視頻理解方法。隨後，介紹了視頻內容質量的評估要素（如清晰度、美觀度是否有馬賽克等），視頻內容質量中經常使用的算法（如多模態色情模型、紋理分形度量、基於Markov矩陣的不變特徵等），並介紹了內容質量的經典應用案例（解說視頻識別和變形圖片識別）。而後，藉助案例介紹了內容生成&加強技術在內容生產、視頻質量提高方面的應用，重點探討了清晰度加強、圖像修復、修音算法以及視頻語音識別等內容加強場景，此外，還分享了智能剪輯在內容生成方面的應用。緊接着，介紹了視頻指紋及其在做者權益保護中的應用。視頻指紋算法能夠分解爲如下步驟：抽幀→提取圖像/音頻基礎特徵→向量索引→視頻類似匹配。最後，從短視頻帶長視頻、度小糊（智能機器人）以及人臉交互（千萬級別人臉庫）角度，對產品技術創新提出展望。大數據

吳健民老師做「短視頻分發技術」的報告

做爲百度傑出架構師，吳健民老師報告的主要內容包括：1）推薦系統與信息過濾；2）推薦系統架構；3）短視頻推薦特性；4）短視頻推薦的核心問題及解決方案。首先，報告由信息過載與過濾引入，介紹在互聯網海量的文本、圖片和視頻信息中過濾出須要的內容的重要性。接着，闡明瞭推薦系統作信息過濾的主要目標：給用戶推薦創做者的優質內容，促進彼此互動。進一步介紹了推薦模型的組成部分：1）用戶模型；2）內容召回；3）打分和排序；4）規則策略，各部分的核心目標是實現對海量內容的有效實時的過濾。隨後，簡要介紹了用戶模型及召回經常使用的三種算法：1）Content Based；2）User/Item Based CF；3）Model Based。緊接着，介紹了短視頻推薦的特性和挑戰，特性主要包括：1）摘要知足度低；2）時長標籤噪音低；3）用戶、內容、做者間的互動更活躍。短視頻推薦的挑戰包括：1）內容冷啓動難度更大；2）用戶興趣擴展與探索特徵相對少；3）沉浸式體驗要求更高準確性。最後，介紹了短視頻推薦的4個關鍵問題： 1）多目標的平衡（分發、時長、互動）；2）即時與長期收益；3）推薦與社交分發；4）用戶體驗與內容生態。針對上述問題，詳細介紹了每一個問題的解決方法。

吳永巍老師做「規模爆炸-推薦系統架構

做爲百度傑出架構師，吳永巍老師報告的主要內容爲在規模爆炸背景下，關於工業界推薦系統架構的趨勢與挑戰的五大話題：1）視頻處理架構；2）超大型推薦架構的服務治理、高可用工程；3）推薦系統中數據架構的挑戰和應對；4）實時系統技術；5）視頻處理與推薦架構的新突破和新思路。首先，吳永巍老師先介紹了推薦系統的層次化架構，接着簡述了工業界推薦系統架構的趨勢與挑戰，其趨勢爲：1）流量漲，加愈來愈多的矩陣產品；2）數據規模漲，同時特徵愈來愈豐富，更新更快；3）算法和子系統的計算度持續增長；三種因素疊加，表現爲規模爆炸。隨後，介紹了百度的超大規模視頻處理架構，該架構中臺擁有海量數據存儲管理、數據與計算調度、大規模算力優化管理等優勢，可以處理海量視頻及特徵。接着，針對規模爆炸問題，介紹了Cloud Native的架構方案，該方案是基於微服務、全面PaaS化、全動態服務治理的。以春晚紅包極端高QPS下，百度Feed高可用工程爲例，闡述了混沌工程、韌性架構等機制。而後，介紹了推薦系統中數據架構面臨的問題，不論是內容數據、用戶特徵數據，仍是機器學習數據，都存在着數據規模大+數據種類多+數據更新多和快的特色。針對其關鍵的數據問題，主要介紹了適用於高QPS的只讀+批量更新的存儲的Cube架構，可以支持單機數百萬QPS、數千萬KPS，並有着極低的延遲，用於TB級別的超大DNN模型在線預測，Cube數據系統已經隨着PaddlePaddle開源（連接：https://dwz.cn/KS0yiXo9）。並介紹了適用於實時讀寫的超大容量高性能在線存儲的SNDB系統，支持PB級數據，結合推薦特性的業務定製，加上3DXPoint,Open ChannelSSD等新硬件的結合和定製，吞吐能力提高了10倍以上。隨後，介紹了推薦系統中關鍵的實時計算系統，其核心繫統包括：實時傳輸系統、流式計算系統、配合的數據存儲系統。最後，介紹了更靈活的online+nearline的召回架構，與純online相比，AB test實驗顯示，該架構效果和成本顯著雙收益，靈活性更高，開闢了推薦系統的新空間，可以兼顧推薦效果、算力規模、在線延遲等核心指標。此外，還對視頻處理與推薦系統有關的新技術、新趨勢、新架構介紹了百度已落地的技術突破，提出了新的展望。