四個問題，Yoshua等27位前沿研究者，這是一份NLP領域的請回答2018

Yoshua Bengio

1.你認爲目前NLP面臨最大的三個問題是什麼？

基礎語言學習，即共同窗習世界模型以及如何用天然語言處理中引用模型；
在深度學習框架內融合語言理解和推理；
常識的理解，只有解決了上述兩個問題，才能解決常識問題。

2.哪些因素讓這個領域走向了錯誤的方向？

是貪婪。

咱們老是在乎短時間回報，咱們老是想辦法利用一切咱們可支配的數據訓練模型，而後但願模型可以智能的理解和生成語言。可是，若是咱們不能創建世界模型，不能深層次的理解世界是如何運做的，咱們永遠不會找到智能語言的祕密，即便咱們設計的神經網絡模型有多麼精巧。所以，咱們必需要緊牙關，致力於用NLP解決AI，而不是孤立的理解天然語言處理。

4.你對研究生開始他們的NLP項目有什麼建議？

普遍閱讀，不要侷限於閱讀NLP論文。閱讀大量機器學習，深度學習，強化學習論文。博士學位是一我的一輩子中實現追求目標的大好時機，即便是朝着這個目標邁出一小步也是值得珍惜的。

Kevin Gimpel

1.你認爲NLP目前最大的三個問題是什麼？

最大的問題與天然語言的理解有關，即便在生成任務中，全部的挑戰均可以這麼理解：計算機不理解文字對人的做用是什麼。

設計的模型應該像人類那樣閱讀和理解文本，經過造成文本世界的表示法，包括對象、設置、目標願望、信念等要素。固然，還要有人類理解文字背後所需的其餘因素。

在設計出理想模型以前，全部的進步都基於提升模型模式匹配的能力。模式匹配對於開發和改善產品是有效的。我不認爲僅僅須要模式匹配就能產生一臺「理性」機器。

2. 過去十年中，在NLP方面，最有影響力的一部做品是什麼？

《天然語言處理幾乎從零開始（Natural Language Processing (Almost) from Scratch）》，這一論文由 Ronan Collobert、Jason Weston、Leon Bottou、Michael Karlen、Koray Kavukcuoglu和 Pavel Kuksa等人協力完成，並在2011年發表。簡單來講，它以Colobert和Weston在2008年的一篇論文爲基礎，但對其進行了擴展與發揮。該論文介紹了當前NLP設計常見的幾種方法，例如，使用神經網絡進行NLP多任務學習、使用未標記數據進行預訓練詞嵌入等等。

3. 是什麼緣由致使咱們踏進了天然語言處理的「陷阱」

我認爲是當前NLP傳統的處理方法，例如採用的傳統的監督學習，其中有一條假設是，測試數據與訓練數據服從相同的機率分佈，這與現實實際徹底不符合。至少，真實的測試數據與訓練數據在時間上的分佈是不一樣的，有時甚至是幾十年的差距！因此，咱們應該致力於域外學習，時間遷移等。

傳統的無監督學習和傳統的監督學習都是不現實的，因此很高興看到NLP研究人員最近關注混合使用，不管給它們起什麼名字，半監督也好，弱監督也可，它們都是一種混合的設置。

4. 你對NLP的研究生如今開始他們的項目有什麼建議？

不要懼怕創新，要敢於嘗試新鮮事物。一般來講，風險越大，收益也越大。若是失敗了，或者說不符合預期，你也可能在過程當中學到許多很是有趣的事情，很是有可能爲你發表論文積累材料