2018年天然語言處理最值得關注的研究、論文和代碼

摘要： NLP 與情感分析、加強學習、深度學習的交叉領域，整年乾貨大合集。

2018年對於天然語言處理（NPL）是頗有意義的一年，見證了許多新的研究方向和尖端成果。Elvis Saravia 是計算語言學專家，也是2019 計算語言學會年度大會北美分部的項目委員之一。他總結了2018年 NLP 的重要進展，包括加強學習、情感分析和深度學習等領域。
點擊文章中的連接，可得到每一項研究的詳細信息、論文或者代碼。

綜合領域

• Facebook 研究員們發明了一種機器翻譯的新方法，只須要使用單一語言語料庫，這對於缺少資料的語言很是有用。
• Young 和同事更新了他們近期發表的論文《基於深度學習的天然語言處理的最新趨勢》，增長了 NLP 文獻中最新的 SQuAD 結果。
• Bloomberg 研究員 Yi Yang 發表了 RNN 卷積篩選建模的最新論文及代碼，稱體現了語言中的長期依存性和組合性。
• 百度發佈了 Deep Voice 3，是一項基於注意、徹底卷積的文字語音轉換神經系統，比目前的循環系統在神經語音合成方面快幾個量級。
• Pair2vec 是一種學習文字嵌入對的新方法，能體現隱含關係的背景知識。
• 百度發佈了名爲同聲翻譯與預測及可控延遲（STACL）的機器翻譯算法，可以同時進行多個翻譯。在同聲傳譯時，這項技術不須要等發言者暫停發言，而能夠預測發言者的下一個詞語。
• Deep INFOMAX 是一種學習無監督表徵的方法，將輸入和高層特徵矢量之間的共同信息最大化。

• 蒙特利爾大學的 AI 研究團隊 MILA 發表了多個超讚的研究成果，記錄了天然語言生成（NLG）任務中 GAN 的限制。
• 聊天機器人是 NLP 的一個重要研究領域，創業公司 lang.ai 如何使用無監督 AI 來解決打造聊天機器人的重要挑戰之一：理解用戶到底想要什麼。
• 這個模型提供了一種新方法進行文字生成，能夠實現更強的解讀性和控制性。
• 谷歌 AI 發表了論文，探索語言建模的極限。
• 亞馬遜研究員提出了一種語言建模方法，這種新的訓練策略的重要性在於，在現實中，要得到大量的訓練數據來創建一種新能力常常是不現實的。

加強學習

許多研究員認爲加強學習是機器學習的最前端。 咱們來看看這個領域內，2018年都有哪些重大進展。

• David Ha 的「世界模型」，目標是研究個體可否在其自身的夢境中學習，須要利用加強學習來學習一項規則，依靠世界模型中抽取的特徵來解決制定的任務。
• OpenAI 開發了一個相似人類的機器人手，經過加強學習算法得到操縱物體的靈活性。
• DeepMind 在《天然》雜誌發佈了一篇論文，討論虛擬環境中，人工個體的網格表徵怎樣經過矢量導航找到解決。
• TextWorld 是以文字遊戲爲靈感的學習環境，用於訓練加強學習代理。

• Google研究員開發了一項名爲 MnasNet 的技術，是一種自動化神經網絡架構搜索方法，用於經過加強學習設計移動化機器學習模型。
• OpenAI Five 利用加強學習，能在複雜遊戲 Dota 2 中戰勝業餘水準的人類選手。
• DeepMind 開發了名爲 PopArt 的技術，利用加強學習在多任務環境中具備高精確度。
• 三星的 CozNet 是一種加強學習算法，在兩項知名的NPL比賽中展示了頂尖表現。
• Arel 使用對抗獎勵學習來說故事，解決故事評估維度的侷限。
• Metacar 是爲無人駕駛汽車而設計的加強學習環境，在以 Tensorflow.js 打造的瀏覽器上使用。
• OpenAI 發佈的 Gym Retro 平臺提供 1000多個遊戲，進行加強學習研究。

情感分析

機器學習系統須要更深的理解能力，才能與人類在情感層面互動。

• 這篇新論文提出了「層級化CVAE用於精準的仇恨言論分類」，可以理解40多個羣體和13中不一樣類別的仇恨言論。
• 這篇論文討論如何使用簡單的支持向量機變量得到最佳結果，並指出模型方面須要注意的幾點。目前大部分情感分析都是基於神經方法，研究時須要注意模型和特徵的選擇。
• 這篇論文定量分析了推特表情膚色修改器的使用效果。

• 這篇論文討論如何使用深度卷積神經網絡檢測諷刺。另外，這項新研究使用眼動追蹤、NLP和深度學習算法檢測諷刺。
• 研究員開發了一項成爲「情感聊天機器」的方法，這個聊天機器人不只能給出符合事實與邏輯的答案，還能在聊天中加入悲傷、厭煩等情緒。
• Lei Zhang 等研究員發表了一篇論文，綜合歸納了深度學習方法如何用於情感分析。
• 這個雙向異步框架能夠在聊天中生成有意義的情感回覆。
• 這項研究使用計算機視覺方法，研究語境中的情感識別。
• 這篇在2018 NAACL 大會上發表的論文，提出了一種方法可使用簡單的遞歸神經網絡模擬情感流。
  

深度學習

• DeepMind 與哈佛大學教師 Wouter Kool 合做發表了論文，研究人類如何使用大腦來作決定，以及這些研究結果能如何啓發人工智能的研究。
• 這篇論文引入了「羣組歸一化」的概念，能夠有效替代批歸一化，被認爲是深度學習的一項重要技術。
• Sperichal CNN 是一種打造卷積神經網絡的新方法。
• BAIR 發佈了一篇文章，討論目前循環神經網絡和前饋神經網絡在解決各類問題時的優缺點。
• Facebook 的 AI 研究小組開發了一項新技術，能將 AI 模型運行效率提高16%。這能提升 AI 模型的訓練速度，並簡化模型的量化和運行。
• 這篇《天然》雜誌論文，介紹了一種能夠預測地震後餘震位置的深度學習方法。
• DeepMind 研究員開發了一種新方法，利用神經算數邏輯單元（NALU）改善神經網絡，追蹤時間、用數字圖片運行算數、數圖片中的物體個數等等。
• DARTS 是一種架構搜索算法，能夠設計高性能的圖像分類卷積架構。
• 這篇論文《實證驗證序列建模中的通用卷積網絡和神經網絡》，討論了序列建模中 CNN 和 RNN 的區別。
• 圖形神經網絡如何幫助推斷潛在關係結構、模擬多代理和物理動態。
• 谷歌 AI 研究團隊發佈了一篇論文，提出了一種改進版的 RNN，可以提升自動數據解讀的精確度。
• Distill 發佈了新研究，能夠在一個數據源的語境下分析另外一個數據。
  
• 若是沒有任何數據、也沒有任何人類知識工程，有可能習得精準的認知模型嗎？這項研究會告訴你答案。
• 這篇論文詳細描述了針對深度神經網絡的批歸一化研究。
• 這篇論文回顧了神經網絡中，如何更好地進行批訓練。
• 這篇論文討論如何正確評估深度半監督學習算法。

---

本文做者：【方向】

閱讀原文

本文爲雲棲社區原創內容，未經容許不得轉載。