網易易盾實驗室多模態視角信息融合技術達到國際領先水平 準確率等關鍵指標創新高

本文來自網易雲社區。

近日，網易雲易盾實驗室AI算法研究員的一篇論文《MULTI-VIEW AUTOENCODER FOR IMAGE FEATURE LEARNING WITH STRUCTURED NONNEGATIVE LOW RANK》提出了一種對多視角多模態特徵信息進行有效融合的自編碼器神經網絡，在準確率、NMI、Purity、ARI等各項性能指標上再創新高，較當下多項國際先進的多視角多模態信息融合技術有顯著性的領先。

當下，人工智能技術應用範圍愈來愈大。以自編碼器（autoencoder）、卷積神經網絡（CNN）、循環神經網絡（RNN）、長短時間記憶網絡（LSTM）爲表明的深度學習技術由於擁有良好的特徵學習能力，被學術界和工業界普遍運用於圖像分類、文本語義檢測的實際項目中。然而傳統的自編碼器特徵學習技術，忽視了實際數據的多視角特徵，只能針對單一的特徵進行網絡訓練和特徵學習，沒法融合數據多視角特徵中大量有用的結構化信息。

易盾實驗室AI算法研究員撰寫的論文，提出了一種新的對數據多視角特徵進行融合和特徵提取的自編碼器網絡。它能在其編碼網絡中，對各個視角的特徵信息進行低秩結構化融合。網絡通過訓練學習獲得的新特徵具備非負性和低秩的結構性質，可以有效下降不一樣視角特徵之間的噪聲，具備對噪聲的抗干擾能力和魯棒性。所設計的新型自編碼器網絡經過融合不一樣視角特徵各自攜帶的局部視角信息，提升新的數據特徵的表示能力，有效地提升了數據的分類識別準確率。

須要指出的是，這種對數據多視角特徵信息進行低秩結構化融合的自編碼器網絡方案，對傳統的深度學習技術-自編碼器神經網絡有了很大的創新和改進，對數據語義表示的精準度和分類識別的應用上有較大的性能提升。

看完上面幾段文字，估計不少人犯嘀咕：字都認識，結合在一塊兒，卻有一種看天書的感受。這裏舉一個通俗易懂的例子，形象地比喻：現行的自編碼器神經網絡技術在數據特徵信息的利用上，只能能摸出大象的腿、尾巴，不能對大象進行一個完整、全面的信息描述，沒法還原出一個真實的大象。而論文提出的新的多模態視角信息融合技術，由於可以對數據的多視角、多模態特徵進行綜合提取和有效融合，能把這個大象完整、客觀和真實的呈現出來。

新提出的數據特徵信息融合技術，已經成功應用於易盾內容安全項目中，並在文本特徵處理應用方面申請了相關專利。經過提取文本內容信息的關鍵詞、聯繫方式、詞性句法關係等多視角、多模態信息特徵，有效地提升了有害內容的識別率，讓網易雲易盾內容安全的準確率和召回率更上一個臺階。

此技術創新相關的論文《MULTI-VIEW AUTOENCODER FOR IMAGE FEATURE LEARNING WITH STRUCTUREDNONNEGATIVE LOW RANK》於ICIP 2018 圖像處理大會期間發佈，一同參加大會的公司包括微軟、谷歌、Facebook等技術巨頭。因爲論文的創新性、應用價值大，該論文已被IEEE數據庫收錄。

網易雲易盾

值得一提的是，該論文的主筆爲方正，他是IEEE Member（國際電氣和電子工程師協會會員）、 國際期刊 IEEE Transactions on Cybernetics和Neural Processing Letters的技術審稿評審，他來自網易易盾實驗室。網易易盾實驗室成立於2016年，隸屬於網易安所有，目前擁有數十名AI算法專家、安全研究員、政策法規研究專員等。實驗室目前專一探索人工智能技術在安全領域的應用，以及安全相關法規、社會責任等研究。

最後給你們送下福利：對該論文感興趣的同窗，能夠在這裏下載：https://ieeexplore.ieee.org/document/8451827/authors 

點擊免費體驗網易雲易盾安全解決方案。

網易雲免費體驗館，0成本體驗20+款雲產品！

更多網易研發、產品、運營經驗分享請訪問網易雲社區。

相關文章：
【推薦】 【網易嚴選】iOS持續集成打包（Jenkins+fastlane+nginx）
【推薦】 網易蜂巢（現已改名爲網易雲計算基礎服務）用了什麼技術？
【推薦】 HashMap在併發場景下踩過的坑