各種機器學習問題的最優結果合集！附論文及實現地址索引

該 GitHub 庫提供了全部機器學習問題的當前最優結果，並盡最大努力保證該庫是最新的。若是你發現某個問題的當前最優結果已過期或丟失，請做爲問題提出來（附帶：論文名稱、數據集、指標、源代碼、年份），咱們會當即更正。

這是爲全部類型的機器學習問題尋找當前最優結果的一次嘗試。咱們都沒法獨自完成，所以但願每一位讀者參與進來。若是你發現了一個數據集的當前最優結果，請提交併更新該 GitHub 項目。

監督學習

1、NLP

一、語言建模

如下展現了語言建模方面當前頂尖的研究成果及它們在不一樣數據集上的性能。

論文：DYNAMIC EVALUATION OF NEURAL SEQUENCE MODELS

論文地址：https://arxiv.org/pdf/1709.07432.pdf

實現地址：https://github.com/benkrause/dynamic-evaluation

論文：Regularizing and Optimizing LSTM Language Models

論文地址：https://arxiv.org/pdf/1708.02182.pdf

實現地址：https://github.com/salesforce/awd-lstm-lm

論文：FRATERNAL DROPOUT

論文地址：https://arxiv.org/pdf/1711.00066.pdf

實現地址：https://github.com/kondiz/fraternal-dropout

論文：Factorization tricks for LSTM networks

論文地址：https://arxiv.org/pdf/1703.10722.pdf

實現地址：https://github.com/okuchaiev/f-lm

在語言建模（Language Modelling）的四個頂尖研究成果中，咱們看到 Yoshua Bengio 等人的研究 FRATERNAL DROPOUT 在 PTB 和 WikiText-2 數據集上都實現了當前最好的結果。在該篇論文中，Bengio 等人提出了一項叫作 fraternal dropout 的技術，他們首先用不一樣的 dropout mask 對兩個同樣的 RNN（參數共享）進行訓練，並最小化它們 (pre-softmax) 預測的差別。這樣正則項會促進 RNN 的表徵對 dropout mask 具備不變性。Bengio 等人證實了他們的正則項上界爲線性指望的 droupout 目標，便可以解決 droupout 因訓練和推斷階段上出現的差別而致使的 Gap。

此外，Ben Krause 等人提出使用動態評估來提高神經序列模型的性能。Salesforce 的 Stephen Merity 等人提交的論文 LSTM 語言模型中的正則化和最優化從詞層面的語言建模和調查基於 LSTM 模型中的正則化和最優化等具體問題出發研究更高效的語言建模方法。英偉達的 Oleksii Kuchaiev 等人提出了兩個帶映射的 LSTM 修正單元（LSTMP），並藉此減小參數的數量和提高訓練的速度。

二、機器翻譯

論文地址：https://arxiv.org/abs/1706.03762

實現地址：https://github.com/jadore801120/attention-is-all-you-need-pytorch、https://github.com/tensorflow/tensor2tensor

論文：NON-AUTOREGRESSIVE NEURAL MACHINE TRANSLATION

論文地址：https://einstein.ai/static/images/pages/research/non-autoregressive-neural-mt.pdf

實現地址：未公佈

在機器翻譯上，咱們比較熟悉的就是谷歌大腦 Ashish Vaswani 等人關於注意力機制的研究，該模型在 WMT 2014 英法和英德數據集上都有十分不錯的表現。該研究代表在編碼器-解碼器配置中，顯性序列顯性轉導模型（dominant sequence transduction model）基於複雜的 RNN 或 CNN。表現最佳的模型也需經過注意力機制（attention mechanism）鏈接編碼器和解碼器。所以谷歌在該篇論文中提出了一種新型的簡單網絡架構——Transformer，它徹底基於注意力機制，完全放棄了循環和卷積。上圖兩項機器翻譯任務的實驗也代表這些模型的翻譯質量不只十分優秀，同時它們更能並行處理，所以這種模型所需的訓練時間也能大大減小。這篇論文代表 Transformer 在其餘任務上也泛化很好，能成功應用到有大量訓練數據和有限訓練數據的英語組別分析任務上。

除了這篇論文，Salesforce 和香港大學等研究者提出了能避免自迴歸（autoregressive）屬性和並行產生輸出的模型，這種模型在推斷時能減小數個量級的延遲。該論文經過三個層面的訓練策略展現了在 IWSLT 2016 英語-德語數據集上產生的大量性能提高，而且在 WMT2016 英語-羅馬尼亞語上得到了當前頂尖的效果。

三、文本分類

論文：Learning Structured Text Representations

論文地址：https://arxiv.org/abs/1705.09207

實現地址：未公佈

論文：Attentive Convolution

論文地址：https://arxiv.org/pdf/1710.00519.pdf

實現地址：未公佈

愛丁堡大學的 Yang Liu 等人提出了學習結構化的文本表徵，在這篇論文中，他們關注於在沒有語篇解析或額外的標註資源下從數據中學習結構化的文本表徵。雖然目前暫時尚未相應的實現代碼，不過他們在 Yelp 數據集上準確度能達到 68.6。而另外一篇帶注意力的卷積提出了了一種 AttentiveConvNet，它經過卷積操做擴展了文本處理的視野。

四、天然語言推理

論文：DiSAN: Directional Self-Attention Network for RNN/CNN-free Language Understanding

論文地址：https://arxiv.org/pdf/1709.04696.pdf

實現地址：未公佈

悉尼科技大學和華盛頓大學的研究者提出了 DiSAN，即一種爲 RNN/CNN-free 語言理解的定向自注意力網絡。該研究提出了一種新穎的注意力機制，即輸入序列中每一個元素之間的注意力是定向和多維的，這是一種對應特徵相鏈接的注意力。該研究在斯坦福天然語言推理（SNLI）數據集上得到了 51.72% 的準確度。

五、問答

論文：Interactive AoA Reader+ (ensemble)

數據集地址：https://rajpurkar.github.io/SQuAD-explorer/

實現地址：未公佈

斯坦福問答數據集（SQuAD）是一個新型閱讀理解數據集，該數據集中的問答是基於維基百科並由衆包的方式完成的。小編並無找到該論文，以下 GitHub 地址給出的是該數據集和評估該數據集的模型。

六、命名實體識別

論文：Named Entity Recognition in Twitter using Images and Text

論文地址：https://arxiv.org/pdf/1710.11027.pdf

實現地址：未公佈

波恩大學 Diego Esteves 等研究者在推特上使用圖像和文本進行命名實體識別，在該論文中，他們提出了一種新穎的多層級架構，該架構並不依賴於任何具體語言學的資源或解碼規則。他們的新型模型在 Ritter 數據集上 F-measure 實現了 0.59 的優秀表現。

2、計算機視覺

 

• 分類

 

論文地址：https://arxiv.org/pdf/1710.09829.pdf

實現地址：https://github.com/gram-ai/capsule-networks、https://github.com/naturomics/CapsNet-Tensorflow、https://github.com/XifengGuo/CapsNet-Keras、https://github.com/soskek/dynamic_routing_between_capsules

論文：High-Performance Neural Networks for Visual Object Classification

論文地址：https://arxiv.org/pdf/1102.0183.pdf

實現地址：未公佈

在計算機視覺領域中，最近比較流行的論文就是 Geoffrey Hinton 等人提出的 Capsule 動態路由方法，。在論文中，Geoffrey Hinton 介紹 Capsule 爲：「Capsule 是一組神經元，其輸入輸出向量表示特定實體類型的實例化參數（即特定物體、概念實體等出現的機率與某些屬性）。咱們使用輸入輸出向量的長度表徵實體存在的機率，向量的方向表示實例化參數（即實體的某些圖形屬性）。同一層級的 capsule 經過變換矩陣對更高級別的 capsule 的實例化參數進行預測。當多個預測一致時（本論文使用動態路由使預測一致），更高級別的 capsule 將變得活躍。」

此外，Jurgen Schmidhuber 等人提出了一種視覺目標分類的高性能神經網絡，在該論文中他們提出了一種卷積神經網絡變體的快速全可參數化的 GPU 實現。雖然該論文是在 2011 年提出的，不過它在 NORB 數據集上仍是有很是不錯的效果。

3、語音

 

• ASR

 

論文：THE MICROSOFT 2017 CONVERSATIONAL SPEECH RECOGNITION SYSTEM

論文地址：https://arxiv.org/pdf/1708.06073.pdf

實現地址：未公佈

本文介紹了微軟對話語音識別系統的 2017 版本。它在原有的模型架構設置中添加了一個 CNN-BLSTM 聲學模型，而且在系統結合以後還添加了一個混合網絡再打分的步驟。結果這一系統在數據集 Switchboard Hub5'00 上取得了 5.1% 的詞錯率。

半監督學習

計算機視覺

論文：DISTRIBUTIONAL SMOOTHING WITH VIRTUAL ADVERSARIAL TRAINING

論文地址：https://arxiv.org/pdf/1507.00677.pdf

實現地址：https://github.com/takerum/vat

論文：Virtual Adversarial Training: a Regularization Method for Supervised and Semi-supervised Learning

論文地址：https://arxiv.org/pdf/1704.03976.pdf

實現地址：未公佈

第一篇論文中，日本京都大學提出了局部分佈式平滑度（LDS），一個關於統計模型平滑度的新理念。它可被用做正則化從而提高模型分佈的平滑度。該方法不只在 MNIST 數據集上解決有監督和半監督學習任務時表現優異，並且在 SVHN 和 NORB 數據上，Test Error 分別取得了 24.63 和 9.88 的分值。以上證實了該方法在半監督學習任務上的表現明顯優於當前最佳結果。

第二篇論文提出了一種基於虛擬對抗損失的新正則化方法：輸出分佈的局部平滑度的新測量手段。因爲平滑度模型的指示是虛擬對抗的，因此這一方法又被稱爲虛擬對抗訓練（VAT）。VAT 的計算成本相對較低。本文實驗在多個基準數據集上把 VAT 應用到監督和半監督學習，並在 MNIST 數據上取得了 Test Error 1.27 的優異表現。

無監督學習

計算機視覺

生成模型

論文：PROGRESSIVE GROWING OF GANS FOR IMPROVED QUALITY, STABILITY, AND VARIATION

論文地址：http://research.nvidia.com/sites/default/files/publications/karras2017gan-paper-v2.pdf

實現地址：https://github.com/tkarras/progressive_growing_of_gans

英偉達在本文中描述了一種新的 GAN 訓練方法，其核心思想是同時逐漸地增長生成器與鑑別器的能力：從低分辨率開始，添加持續建模精細細節的新層做爲訓練過程。這不只加速了訓練，並且更加穩定，得到質量超出預想的圖像。本文同時提出了一種增長生成圖像變體的簡便方法，並在 CIFAR10 上取得了 8.80 的得分。另外的一個額外貢獻是建立 CELEBA 數據集的更高質量版本。

項目地址：https://github.com//RedditSota/state-of-the-art-result-for-machine-learning-problems

我有幾張阿里雲幸運券分享給你，用券購買或者升級阿里雲相應產品會有特惠驚喜哦！把想要買的產品的幸運券都領走吧！快下手，立刻就要搶光了。

https://promotion.aliyun.com/ntms/act/ambassador/sharetouser.html?userCode=n7gh3gne&utm_source=n7gh3gne