學術與工程的結合 螞蟻金服多篇論文入選人工智能頂會AAAI 2020

人工智能頂會中的螞蟻金服，不只僅是商用場景的落地。

 

2020年2月7日，人工智能頂級會議AAAI 2020（第34屆AAAI大會）在美國紐約舉行。做爲今年在國際人工智能大會的首秀，螞蟻金服在AAAI 2020中表現不俗，多篇論文被收錄。

人工智能的發展歷史不短，但近年來發展迅猛。AAAI的英文全稱是 Association for the Advance of Artificial Intelligence——美國人工智能協會。在人工智能國際性大會中，AAAI大會被公認爲人工智能領域最重磅的會議之一，被譽爲人工智能領域科研的風向標。在國內，由中國計算機學會的國際學術會議排名以及清華大學新發布的計算機科學推薦學術會議和期刊列表中，AAAI 均被列爲人工智能領域的 A 類頂級會議。

 

值得一提的是，受國內疫情影響，約800名中國大陸學者缺席這次大會，可是官方容許遠程參會，所以開年的這場人工智能頂會，熱鬧不減。中國在人工智能領域的學術貢獻也至關亮眼，這次大會錄用的論文37%來自中國，連續三年佔據榜首位置。在這股浩浩蕩蕩的AI大潮中，螞蟻金服也緊跟技術風向，持續輸出新能量。

 

技術在這個時代吹亮了號角，AI成爲這股科技生產力中的主力軍之一。隨着AI產業生態鏈佈局完善，AI逐漸實現了在商用場景的落地，而螞蟻金服在AI技術領域也連年有所突破，像支付寶這樣與人們平常生活息息相關的應用，日漸完善和增強了其自己的功能，提高了用戶的體驗感覺。這些不易覺察的改善正是螞蟻金服技術團隊在AI領域不斷精進的結果。

 

AAAI 2020已經公佈了全部已被接收的論文列表，地址爲：

https://aaai.org/Conferences/AAAI-20/wp-content/uploads/2020/01/AAAI-20-Accepted-Paper-List.pdf

 

大會官方曾於去年11月中旬公佈了今年論文的收錄信息：共收到超過8800篇有效論文，進入評審環節的有7737篇，最終收錄了1591篇，接收率爲20.6%。如下爲螞蟻金服技術團隊被收入的6篇論文的簡要介紹。

 

論文1

Dynamic Network Pruning with Interpretable Layerwise Channel Selection（基於可解釋性通道選擇的動態網絡剪枝方法）

內容簡介 ： 動態剪枝網絡能夠經過根據不一樣的輸入動態決定推理路徑，實現實時線上加速目的。 以前的方法大多直接對每一個權重通道輸出連續重要值，來決定權重的使用狀況，但缺少清晰可理解的剪枝過程。 本文中咱們提出顯式建模權重通道離散選擇過程，以便於實現各稀疏多樣的運行時推理路徑。 與此同時，藉助於可理解的逐層權重通道選擇過程，咱們能夠清晰地可視化出模型決策過程以供模型理解。 同時咱們還發現正常樣本和對抗樣本在動態網絡中有着明顯不一樣的決策路徑。 基於此咱們提出一種高效的對抗樣本檢測方法。 實驗代表咱們的動態剪枝網絡不只能夠減小模型實時計算量，提升模型預測準確性，同時還能夠有效防護對抗樣本攻擊，構建更爲魯棒的模型。

 

論文2

Pruning from Scratch（無語預訓練的網絡剪枝技術）

內容簡介： 隨着深度學習網絡被普遍應用，減小模型大小和運行延時也成爲逐漸關注的需求，這對於部署於邊緣移動端設備有實際應用價值。 網絡剪枝技術即經過去除模型中冗餘參數結構，來達到模型壓縮和推理加速的目的。 傳統網絡剪枝方法基本採起三階段流程，即預訓練，剪枝和微調。 其中預訓練提供冗餘參數和結構，剪枝利用不一樣策略去除參數，微調負責最後進一步提高模型性能。 可是這些環節引入了繁瑣耗時的網絡優化過程，並且最終壓縮網絡結構及參數和原始模型甚至無依賴關係。 所以咱們天然提出疑問： 是否必須要從一個預訓練好的模型中才能夠獲得剪枝模型結構？

 

在本文中咱們經過實證發現，一個有效的剪枝結構無需從預訓練權重獲得。實際上預訓練權重獲得的剪枝結構每每是同質缺少多樣性的，這頗有可能限制了更好性能結構的探索。咱們發現直接從隨機初始化權重便可以剪枝獲得更多樣且最終性能更好的剪枝結構。這不只極大的加速了模型剪枝流程，減小費時繁重的訓練過程，同時也爲模型剪枝領域提供了一個強有力的基準結果。

 

論文3

自動車險定損系統：像專業定損員同樣讀取和理解視頻

內容簡介： 車險定損是車險理賠中最爲重要的操做環節。 以往傳統保險公司的車險處理流程，通常爲報案、現場查勘、提交理賠材料、審覈、最終賠付。 傳統流程對用戶和保險公司分別形成了時間成本和人力、管理成本。 本文提出的自動車險定損系統不只能經過AI算法替代定損環節中重複性人工做業流程，並且能經過深度學習技術讓用戶在車險理賠過程當中現場拍攝視頻，在幾秒內就能獲得準確的定損結論，並快速得到理賠。

 

目前有相關工做在用戶拍攝的照片上進行車險定損，拍攝照片對拍攝距離有較高的要求，用戶交互複雜。也有采用遠程視頻會議系統，由專業定損員在控制中心指導拍攝過程並進行定損。本系統採用拍攝視頻的方式在雲端自動定損，簡化了用戶交互過程，下降了定損成本。

 

論文4

Long Short-Term Sample Distillation(基於長短時間老師的樣本蒸餾方法) 

內容簡介： 隨着深度學習的快速發展，神經網絡的深度迅速增長。 而因爲存在梯度消失、過擬合等問題，越深的神經網絡越難訓練。 在過去的一段時間裏，如何訓練深度神經網絡已經取得了很大的進展。 最近一些關於老師-學生模型的研究代表，在同一個訓練過程當中，前面訓練過程的歷史信息能夠做爲後面訓練過程的老師，從而使模型的訓練更穩定，達到更好的效果。

 

在這篇文章中，咱們提出了Long Short-Term Sample Distillation（LSTSD)方法來從兩方面提高深度神經網絡的效果。一方面，LSTSD將歷史訓練過程的信息分爲兩部分：長期信號和短時間信號。長期信號來自於n(n>1)訓練週期以前，並在較長的一段時間內保持穩定，從而保證學生模型和老師模型之間的差別性。短時間信號來自於上一個訓練週期，並在每一個週期都更新爲最新的信息，從而保證老師模型的質量。另外一方面，每個樣本的老師信號都來自於不一樣的歷史訓練時刻，所以在訓練的每一個時刻，模型都是同時向多個歷史時刻的模型學習，集百家之所長，從而獲得更好的訓練效果。咱們在天然 語言處理和計算機視覺的多個任務上進行了實驗，實驗結果證實咱們提出的LSTSD的有效性。

 

論文5

Span-based Neural Buffer: Towards Efficient and Effective Utilization of Long-distance Context for Neural Sequence Models(面向超長文本分析的天然語言處理)

內容簡介：傳統的序列編碼模型因爲其線性輸入輸出假設的特質而存在短視問題，即不能很好地利用遠距離的上下文信息（有實驗說明，LSTM的編碼能力大概在200個詞左右）。在這個工做中，咱們提出了一種基於塊的張量緩衝，它經過按塊存儲上下文高效地提升了線性生成模型的編碼容量。具體地說，其有效性源於可以經過存儲文本塊建模超長上下文；其高效性源於經過塊狀存儲下降了檢索時耗。

 

然而，在實驗過程當中，咱們發現因爲樣本誤差（大部分的句子結構簡單，即經過局部上下文就能夠預測得很好了），模型不能很好地利用張量緩衝的信息。爲了解決這個問題，咱們提出了一個基於自適應獎勵的策略梯度以鼓勵模型探索上下文和一個退火最大似然估計充分訓練張量緩衝相關的參數。

 

咱們在語言模型的兩個數據集：Penn Treebank 和 WikiText-2 上作了大量的實驗。包括用張量緩衝提升以前每一個基線模型的效果以及一些定性實驗。它們都有力地說明了咱們的方法在處理超長上下文時很是有效。

 

論文6

經過結構化反事實推斷實現成本高效的激勵權益發放 

內容簡介： 向用戶發放激勵消費的權益是現代互聯網市場中一個常見的營銷手段，而相應的發放策略，即向不一樣用戶發放其最感興趣的個性化激勵權益時，並不能利用傳統的優化方法。 這是由於咱們只能觀測到每一個用戶對部分已發放激勵權益的反饋，而沒法肯定其收到其餘激勵權益時的反饋，在機器學習領域，這類策略優化問題被稱爲反事實反饋策略優化（Counterfactual Response Policy Optimization）或部分反饋學習（Batch Learning from Bandit Feedback）。

 

在這篇論文中，不一樣於以前的部分反饋學習工做，咱們考慮一種全新的反事實反饋估計場景，將激勵權益的成本與用戶反饋結合考慮，設計了一個全新的兩步方法求解帶預算約束的反事實反饋策略優化：首先將用戶的反事實反饋的估計問題轉化爲一個帶額外結構的定義域適配（Domain Adaptation）問題，再利用該估計結果進行約束優化。咱們經過理論分析給出該算法的偏差上界，並經過模擬數據和真實數據上的實驗證實咱們的算法相比已有算法實現了顯著的提高。

 

- END -

本文分享自微信公衆號 - 支付寶技術（Ant-Techfin）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。