第一屆「多模態天然語言處理研討會」精彩回顧（免費獲取PPT）

時間 2020-11-11

標籤算法 segmentfault 微信網絡架構機器學習工具學習人工智能欄目 Microsoft Office 简体版

原文原文鏈接

近年來，人工智能 (AI) 在涉及單一模態如語音、天然語言和視覺等領域，取得了重大突破。在單一模態的任務上，如物體識別、語音識別、機器翻譯等，AI 系統在特定數據集上的表現水平與人類至關。隨着單模態人工智能潛在問題的解決，研究人員意識到更高層次的AI任務每每涉及到跨多種模式的更復雜的信息處理。同時，侷限於單一模態的研究每每不能充分利用跨模態信息。所以，研究多模態建模與學習方法具備重要的意義。算法

在近期舉行的國際天然語言處理與中文計算會議 (NLPCC 2020)上, 京東智聯雲舉辦了第一屆「多模態天然語言處理研討會」。該研討會邀請了多位學術大咖進行學術分享，吸引了天然語言處理、多模態、圖像處理等多領域衆多學者參與。各位學者就跨語言跨模態信息處理、多模態預訓練、AI與藝術、視覺與語言交互、多模態對話系統等領域的研究熱點和技術應用展開討論，反響熱烈。segmentfault

多模態已成爲新聞報道和信息交流的主要呈現形式，多模態自動摘要技術，旨在利用計算機自動實現從多個模態的信息中壓縮生成摘要的過程，能夠普遍應用於新聞推送和電商推薦等多個領域。微信

在本次研討會中，來自中科院自動化所的研究員張家俊老師，爲你們介紹其所在的課題組近年來在多模態摘要方法和評價等方面的研究進展。張老師重點介紹了異源多模態摘要生成的研究方法變遷：從抽取式方法到生成式方法，再到目前融入多模態注意力機制的圖文式摘要生成方法等。同時，張老師也介紹了多模態自動摘要的自動評價方法: 綜合考慮文本和圖片重要性以及文本圖片相關性更加貼近人工打分。網絡

▲以上是張家俊老師分享部分PPT，完整50頁PPT，關注公衆號在後臺回覆「NLPCC」，獲取下載連接▲架構

預訓練模型的出現，使天然語言處理由原來的手工調參、依靠機器學習專家的階段，進入到能夠大規模、可複製的大工業施展階段。此階段基於預訓練模型+微調機制，具有很高的可擴展性，展示出很高潛力。而當前研究也從單一語言擴展到多模態。機器學習

微軟亞洲研究院的高級研究員段楠博士爲你們介紹了多模態預訓練模型的最新研究進展。他首先回顧典型的預訓練模型。隨後，重點介紹3種最新的多模態預訓練模型：Unicoder主要應用於跨語言的語言理解和生成任務；Unicoder VL專一於視頻語言任務，對視頻片斷和對應的天然語言描述進行聯合建模；CodeBERT則關注在代碼語言任務的。段博士也和與會學者一塊兒討論當前多模態預訓練的問題和可能的將來方向。工具

▲以上是段楠博士分享部分PPT，完整40頁PPT，關注公衆號在後臺回覆「NLPCC」，獲取下載連接▲學習

「AI+藝術是一個跨界領域。藝術家的想象力每每啓發着科學家的創造力，而在AI時代，藝術家用人工智能機器學習相關技術來創做藝術，表達本身的想法和概念，設計師用神經網絡模型創造本身的設計工具和助手。」ui

清華大學將來實驗室博士後高峯分享了AI技術在藝術與設計領域的創新性應用。其團隊開發的道子智能繪畫系統，利用計算機將天然圖像以風格遷移的方式轉變成藝術圖像，根據所得藝術圖像進行水墨畫繪做，實現技術與藝術間的跨界融合。高博士也介紹了道子在服裝設計、工業設計、裝置藝術等領域的探索成果。人工智能

多模態智能分析是近期的研究熱點。來自北航的劉偲教授圍繞視覺和語言的交互介紹兩方面的內容進行了分享。她首先介紹了視覺關係檢測的研究，包括人-物關係檢測，人-物關係分割，視頻關係檢測等方面的內容。其次，她指出視覺指表明達和指代分割，對於智能機器人和交互式圖像編輯等實際應用有重要意義。傳統的視覺指表明達方法採用兩階段式架構，模型複雜且速度受限，而傳統的指代分割方法聚焦於多模態特徵融合，缺少利用語言信息進行上下文建模和推理的能力。在本次討論中，她給出了針對性的解決方法。

▲以上是劉偲教授分享的部分PPT，完整43頁PPT，關注公衆號在後臺回覆「NLPCC」，獲取下載連接▲

對話系統一直是天然語言理解領域一個重要的研究內容，它可使人們更便捷的與機器進行交互，而多模態的對話系統是很是重要的一個研究方向。

平安壽險AI研發團隊的楊海欽博士，分享了多模態對話系統在平安人壽的各類場景的應用，包括保單回訪服務和視頻櫃員客服等。在本次講座中，楊博士重點介紹多模態對話系統的核心和創新技術，實際部署經驗以及如何應用該系統來下降運營成本，同時增長用戶體驗。

▲以上是楊海欽博士分享的部分PPT，完整44頁PPT，關注公衆號後臺回覆「NLPCC」，獲取下載連接▲

這次NLPCC 會議中，京東智聯雲成功舉辦了第一屆「多模態天然語言處理研討會」，吸引衆多參會學者的積極參與和熱烈討論。同時京東AI研究院NLP算法科學家吳友政博士受大會邀請做「智能人機交互及其應用」的主題分享。另外京東AI研究院一篇論文《Enhancing Multi-turn Dialogue Modeling with Intent Information for E-Commerce Customer Service》被大會收錄並進行口頭彙報。開發者社區將會在以後對該論文進行深度解讀，敬請期待！

如何獲取 PPT 資源？

掃描下方二維碼