可應用於實際的14個NLP突破性研究成果（一）

摘要： 最好的論文是能夠直接走出實驗室！NLP年度最佳應用論文大集錦！

語言理解對計算機來講是一個巨大的挑戰。幼兒能夠理解的微妙的細微差異仍然會使最強大的機器混淆。儘管深度學習等技術能夠檢測和複製複雜的語言模式，但機器學習模型仍然缺少對咱們的語言真正含義的基本概念性理解。

但在2018年確實產生了許多具備里程碑意義的研究突破，這些突破推進了天然語言處理、理解和生成領域的發展。

咱們總結了14篇研究論文，涵蓋了天然語言處理（NLP）的若干進展，包括高性能的遷移學習技術，更復雜的語言模型以及更新的內容理解方法。NLP，NLU和NLG中有數百篇論文，因爲NLP對應用和企業AI的重要性和廣泛性，因此咱們從數百篇論文中尋找對NLP影響最大的論文。

2018年最重要的天然語言處理（NLP）研究論文

1.BERT：對語言理解的深度雙向變換器的預訓練，做者：JACOB DEVLIN，MING-WEI CHANG，KENTON LEE和KRISTINA TOUTANOVA

論文摘要：

咱們引入了一種名爲BERT的新語言表示模型，它是Transformer的雙向編碼器表示。與最近的語言表示模型不一樣，BERT旨在經過聯合調節全部層中的左右上下文來預訓練深度雙向表示。所以，預訓練的BERT表示能夠經過一個額外的輸出層進行微調，以建立適用於普遍任務的最早進模型，例如問答和語言推理，而無需實質性的具體的架構修改。

BERT在概念上簡單且經驗豐富，它得到了11項天然語言處理任務的最新成果，包括將GLUE基準推至80.4％（提高了7.6％）、MultiNLI準確度達到86.7%（提高了5.6％）、SQuAD v1.1問題回答測試F1到93.2%（提高了1.5％）。

總結

谷歌AI團隊提出了天然語言處理（NLP）的新前沿模型-BERT，它的設計容許模型從每一個詞的左側和右側考慮上下文。BERT在11個NLP任務上得到了新的最早進的結果，包括問題回答，命名實體識別和與通常語言理解相關的其餘任務。

論文的核心思想是什麼？

• 經過隨機屏蔽必定比例的輸入token來訓練深度雙向模型-從而避免單詞間接「看到本身」的週期。
• 經過構建簡單的二進制分類任務來預訓練句子關係模型，以預測句子B是否緊跟在句子A以後，從而容許BERT更好地理解句子之間的關係。
• 訓練一個很是大的模型（24個Transformer塊，1024個隱藏層，340M參數）和大量數據（33億字語料庫）。

什麼是關鍵成就？

• 刷新了11項NLP任務的記錄，包括：
• 得到80.4％的GLUE分數，這比以前最佳成績提升了7.6％;
• 在SQuAD 1.1上達到93.2％的準確率。
• 預訓練的模型不須要任何實質的體系結構修改來應用於特定的NLP任務。

AI社區對其見解？

• BERT模型標誌着NLP的新時代；
• 兩個無人監督的任務在一塊兒爲許多NLP任務提供了很好的性能；
• 預訓練語言模型成爲一種新標準；

將來的研究領域是什麼？

• 在更普遍的任務上測試該方法。
• 收集BERT可能捕獲或未捕獲的語言現象。

最可能的商業應用是什麼？

BERT能夠幫助企業解決各類NLP問題，包括：

• 提供更好的聊天機器人客服體驗;
• 客戶評論分析;
• 搜索相關信息；

你在哪裏能夠代碼？

• Google Research發佈了一個官方Github存儲庫，其中包含Tensorflow代碼和BERT預訓練模型。
• BIT的PyTorch實現也能夠在GitHub上得到。

2.人類注意力的序列分類，做者：MARIA BARRETT，JOACHIM BINGEL，NORA HOLLENSTEIN，MAREK REI，ANDERSSØGAARD

論文摘要

學習注意力函數須要很是大規模的數據，不過有不少天然語言處理任務都是對人類行爲的模擬，在這篇論文中做者們就代表人類的注意力確實能夠爲 NLP 中的許多注意力函數提供一個不錯的概括偏倚。具體來講，做者們根據人類閱讀語料時的眼睛動做追蹤數據估計出了「人類注意力」，而後用它對 RNN 網絡中的注意力函數進行正則化。做者們的實驗代表，人類注意力在大量不一樣的任務中都帶來了顯著的表現提高，包括情感分析、語法錯誤檢測以及暴力語言檢測。

總結

Maria Barrett和她的同事建議使用從眼動（eye-tracking）追蹤語料庫中獲取的人類注意力來規範循環神經網絡（RNN）中的注意力。經過利用公開可用的眼動追蹤語料庫，即經過眼睛跟蹤測量（例如注視持續時間）加強的文本，它們可以在NLP任務中顯着提升RNN的準確性，包括情緒分析、濫用語言檢測和語法錯誤檢測。

論文的核心思想是什麼？

• 使用人的注意力，從眼動追蹤語料庫中估計，以規範機器注意力。
• 模型的輸入是一組標記序列和一組序列，其中每一個標記與標量值相關聯，該標量值表示人類讀者平均專一於該標記的注意力。
• RNN聯合學習循環參數和注意力功能，但能夠在來自標記序列的監督信號和眼睛跟蹤語料庫中的注意力軌跡之間交替。
• 建議的方法不要求目標任務數據帶有眼睛跟蹤信息。

什麼是關鍵成就？

• 在注意力序列分類任務中引入循環神經結構。
• 證實使用人眼注意力（從眼動追蹤語料庫中估計）來規範注意力功能能夠在一系列NLP任務中實現顯著改善，包括：

§  情緒分析，

§  檢測語言檢測，

§  語法錯誤檢測。

• 性能比基線平均偏差減小4.5％。這些改進主要是因爲召回率（recall）增長。

AI社區對其見解？

• 該論文得到了關於計算天然語言學習頂級會議的CoNLL 2018人類語言學習和處理啓發的最佳研究論文特別獎。

將來的研究領域是什麼？

• 在學習人類相關任務時，探索利用人類注意力做爲機器注意力的概括偏見的其餘可能性。

什麼是可能的商業應用？

• RNN結合人類注意力信號，可應用於商業環境：

§  增強客戶評論的自動分析;

§  過濾掉濫用的評論，回覆。

你在哪裏能夠獲得實現代碼？

• 本研究論文的代碼可在GitHub上得到。

3.基於短語和神經元的無監督機器翻譯，做者：GUILLAUME LAMPLE，MYLE OTT，ALEXIS CONNEAU，LUDOVIC DENOYER，MARC'AURELIO RANZATO

論文摘要

機器翻譯系統在某些語言上實現了接近人類的性能，但其有效性強烈依賴於大量並行句子的可用性，這阻礙了它們適用於大多數語言。本文研究瞭如何在只能訪問每種語言的大型單語語料庫時學習翻譯。咱們提出了兩種模型變體，一種神經模型，另外一種基於短語的模型。兩個版本都利用參數的初始化、語言模型的去噪效果以及經過迭代反向翻譯自動生成並行數據。這些模型明顯優於文獻中的方法，同時更簡單且具備更少的超參數。在普遍使用的WMT'14英語-法語和WMT'16德語-英語基準測試中，咱們的模型不使用單個平行句的狀況下分別得到28.1和25.2 BLEU分數，超過現有技術水平11 BLEU分。在英語-烏爾都語和英語-羅馬尼亞語等低資源語言中，咱們的方法比半監督和監督方法得到的效果都要好，咱們的NMT和PBSMT代碼是公開的。

總結

Facebook AI研究人員認可了缺少用於訓練機器翻譯系統的大型並行語料庫，並提出了一種更好的方法來利用單語數據進行機器翻譯（MT）。特別是，他們認爲經過適當的翻譯模型初始化、語言建模和迭代反向翻譯，能夠成功地完成無監督的MT。研究人員提出了兩種模型變體，一種是神經模型，另外一種是基於短語的模型，它們的性能都極大地超越了目前最早進的模型。

論文的核心思想是什麼？

• 無監督的MT能夠經過如下方式完成：

§  合適的翻譯模型初始化（即字節對編碼）;

§  在源語言和目標語言中訓練語言模型，以提升翻譯模型的質量（例如，進行本地替換，單詞從新排序）;

§  用於自動生成並行數據的迭代反向轉換。

• 有兩種模型變體：神經和基於短語：

§  神經機器翻譯一個重要的屬性：跨語言共享內部表示。

§  基於短語的機器翻譯在低資源語言對上優於神經模型，且易於解釋和快速訓練。

什麼是關鍵成就？

• 基於神經和短語的機器翻譯模型顯著優於之前的無監督，例如：

§  對於英語-法語任務，基於短語的翻譯模型得到的BLEU分數爲28.1（比以前的最佳結果高出11 BLEU分）;

§  對於德語-英語任務，基於神經和短語的翻譯模型組合獲得BLEU得分爲25.2（高出基線10個BLEU點）。

• 無監督的基於短語的翻譯模型實現了超過使用10萬個並行句子訓練的監督模型對應的性能。

AI社區的對其想法？

• 該論文在天然語言處理領域的領先會議被評爲EMNLP 2018評爲最佳論文獎。

將來的研究領域是什麼？

• 尋找更有效的原則實例或其餘原則。
• 擴展到半監督模型。

什麼是可能的商業應用？

• 改進其中沒有足夠的並行語料庫來訓練受監督的機器翻譯系統的機器翻譯結果。

你在哪裏能夠獲得實現代碼？

• Facebook團隊在GitHub上提供了本研究論文的原始實現代碼。

未完待續......

---

本文做者：【方向】

閱讀原文

本文爲雲棲社區原創內容，未經容許不得轉載。