乾貨 |作人工智能必看的45篇論文-附下載地址及pdf版本~
【導讀】今天介紹下作人工智能必看的45篇論文，並附上下載地址，同時小編也整合了pdf版本，想要獲取完整版能夠在公衆號「飛馬會」菜單欄回覆數字"59"，整理不易，期待你們不止是收藏，更多的是一塊兒分享！
而AI領域的發展會是IT中最快的。咱們所看到的那些黑客技，其後面無不堆積了大量的論文。並且都是最新、最前沿的論文。
算法
從某種調度來說，他們所用的技術跟書籍裏的內容確實不是一個時代。要想與時俱進，就必須改變思路——從論文入手。網絡
今天給你們介紹45篇讓你跟上AI時代的論文。須要的夥伴在公衆號「飛馬會」菜單欄回覆數字「59」，分享後獲取完整打包下載版~app
1、神經網絡基礎部分框架
No1 wide_deep模型論文：機器學習
關於神經元、全鏈接網絡之類的基礎結構，想必每一個AI學者都有了解。那麼你是否真的瞭解全鏈接網絡中深層與淺層的關係呢？ 來看看wide_deep模型吧。這篇論文會使你對全鏈接有個更深入的理解。ide
關於該模型的更多介紹能夠參考論文：函數
在wide_deep模型中，wide模型和deep模型具備各自不一樣的分工。大數據
—wide模型：一種淺層模型。它經過大量的單層網絡節點，實現對訓練樣本的高度擬合性。它的缺點是泛化能力不好。編碼
—deep模型：一種深層模型。它經過多層的非線性變化，使模型具備很好的泛化性。它的缺點是擬合度欠缺。
將兩者結合起來——用聯合訓練方法共享反向傳播的損失值來進行訓練—可使兩個模型綜合優勢，獲得最好的結果。
No2 wide_deep模型論文：
爲何Adam被普遍使用？ 光會用可不行，還得把原理看懂。這樣出去噴一噴，纔會顯得更有面子。
Adam的細節請參閱論文《Adam: A Method for Stochastic Optimization》，該論文的連接網址是：
No3 Targeted Dropout模型論文：
你還再用普通的Dropout嗎？ 我已經開始用Targeted Dropout了。比你的又快，又好。你不知道吧，趕忙學習一下。
Targeted Dropout再也不像原有的Dropout那樣按照設定的比例隨機丟棄部分節點，而是對現有的神經元進行排序，按照神經元的權重重要性來丟棄節點。這種方式比隨機丟棄的方式更智能，效果更好。更多理論見如下論文：
2、圖像分類部分
No4 Xception模型論文：
在那個圖像分類的時代，谷歌的Xception系列，像x戰警同樣，一個一個的打破記錄。其中的技術也逐漸成爲AI發展的知識體系。有必要看一下。或許會對本身的工做有所啓發。
詳細狀況請查看原論文《Xception: Deep Learning with Depthwise Separable Convolutions》，該論文網址是：
No5 殘差結構論文：
運氣好到沒朋友，現有模型，後完善理論指的就是殘差結構這哥們。他的傳奇致使即便到今天的AI技術，也沒法將它割捨，就來常微分方程都得拿它比肩。快來學學吧。用處大着呢。好多模型都拿他當先鋒。
利用殘差結構，可使得網絡達到上百層的深度。詳情請參閱原始論文《Deep ResidualLearning for Image Recognition》，該論文網址是：
No6 空洞卷積論文：
NasNet的招牌動做，雖然不是出於NASNet，可是卻被人家用得如火純青。有時不得不驚歎，機器設計出來的模型還真實跟人設計的不同！
想知道空洞卷積的感覺野爲何與層數呈指數級關係嗎？
細節請查看原論文《Multi-scale context aggregation by dilated convolutions》，該論文網址是：
No7 DenseNet論文：
這個模型使我想到了「一根筋」，再次證實了只有軸的人才能成大事！令類的模型，神奇的效果，快來體驗一下吧。這但是比華佗還牛的神醫哦！
有關DenseNet模型的細節，請參考原始論文《Densely Connected Convolutional Networks》，該論文的鏈接是：
No8 EfficientNet模型論文：
知道目前位置圖像分類界誰是老大嗎？ 來，看看這個！
EfficientNet模型的論文地址以下：
No9 Grad-CAM模型論文：
若是你能把神經元搞得透徹，你也會想到這個點子。不想聊太多！一個字「絕」！ 這TMD才叫卷積網絡的可視化！
詳細狀況請參閱論文《Grad-CAM:Visual Explanations from Deep Networks via Gradient-based Localization》，該論文的連接網址是：
No10 分類模型泛化能力論文：
知道爲啥都喜歡使用ResNet模型當先鋒嗎？ 運氣好就是運氣好！好到你們都喜歡用它，還說不出爲啥它那麼好！反正就是好，不信的話看看這篇論文的實驗結果。
論文中，在選取模型的建議中，屢次提到了ResNet模型。緣由是，ResNet模型在Imgnet數據集上輸出的特徵向量所表現的泛化能力是最強的。具體能夠參考如下論文：
3、批量正則化部分
No11 批量正則化論文：
這個沒的說，必修課，不懂的化，會被鄙視成渣渣！
論文《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》，該論文網址是：
No12 實例歸一化論文：
時代不一樣了，批量歸一化也升級了，趕忙學學新的歸一化吧。
在對抗神經網絡模型、風格轉換這類生成式任務中，經常使用實例歸一化取代批量歸一化。由於，生成式任務的本質是——將生成樣本的特徵分佈與目標樣本的特徵分佈進行匹配。生成式任務中的每一個樣本都有獨立的風格，不該該與批次中其餘的樣本產生太多聯繫。因此，實例歸一化適用於解決這種基於個體的樣本分佈問題。詳細說明見如下連接：
No13 ReNorm算法論文：
ReNorm算法與BatchNorm算法同樣，注重對全局數據的歸一化，即對輸入數據的形狀中的N維度、H維度、W維度作歸一化處理。不一樣的是，ReNorm算法在BatchNorm算法上作了一些改進，使得模型在小批次場景中也有良好的效果。具體論文見如下連接：
No14 GroupNorm算法論文：
GroupNorm算法是介於LayerNorm算法和InstanceNorm算法之間的算法。它首先將通道分爲許多組（group），再對每一組作歸一化處理。
GroupNorm算法與ReNorm算法的做用相似，都是爲了解決BatchNorm算法對批次大小的依賴。具體論文見下方連接：
No15 SwitchableNorm算法論文：
咱們國人作產品都喜歡這麼幹！all in one ,好吧。既然那麼多批量歸一化的方法。來，來，來，咱們來個all in one吧。不服來辯，我這啥都有！
SwitchableNorm算法是將BN算法、LN算法、IN算法結合起來使用，併爲每一個算法都賦予權重，讓網絡本身去學習歸一化層應該使用什麼方法。具體論文見下方連接：
4、注意力部分
No16 大道至簡的注意力論文：
把AI搞成玄學也就算了！竟然還扯到道家了！谷歌的工程師真實中外通吃啊！搞出來了一個只用注意力就能作事的模型，連卷積都不要了！你所好玩很差玩！至簡不至簡！刺激不刺激！
大名鼎鼎的Attention is All You Need 注意力機制論文
注意力機制因2017年穀歌的一篇論文Attention is All You Need而名聲大噪。下面就來介紹該技術的具體內容。若是想了解更多，還能夠參考原論文，具體地址以下：
No17-18 孿生注意力論文：
比如LSTM與GRU同樣，注意力他們家也除了一對雙胞胎，長得略微有點不一樣。可是功能同樣，都能吃能喝，還能注意。老虎老鼠傻傻的不清楚！
—BahdanauAttention：arxiv.org/abs/1409.04…。
—LuongAttention：arxiv.org/abs/1508.04…。
No19 各自升級的孿生注意力論文：
話說這對雙胞胎，出生後就分開了。各自學的不一樣的語言，一個學習漢語，一個學習中文。若干年後，見面，發現兩者的能力仍是同樣！
BahdanauAttention注意力升級成了normed_BahdanauAttention，而LuongAttention注意力升級成了scaled_LuongAttention。都同樣的效果，你愛用哪一個用哪一個吧！
例如：
在BahdanauAttention類中有一個權重歸一化的版本（normed_BahdanauAttention），它能夠加快隨機梯度降低的收斂速度。 在使用時，將初始化函數中的參數normalize設爲True便可。
具體能夠參考如下論文：
No20 單調注意力機制論文：
老公主動表忠心，我之後不看別的美女。老婆以爲不夠，再加個限制：你之後不許看別的女人！因而單調注意力就出來了。
單調注意力機制（monotonic attention），是在原有注意力機制上添加了一個單調約束。該單調約束的內容爲：
（1）假設在生成輸出序列過程當中，模型是以從左到右的方式處理輸入序列的。
（2）當某個輸入序列所對應的輸出受到關注時，在該輸入序列以前出現的其餘輸入將不能在後面的輸出中被關注。
即已經被關注過的輸入序列，其前面的序列中再也不被關注。
更多描述能夠參考如下論文：
No21 混合注意力機制論文：
這個注意力很強大，比通常的注意力專一的地方更多，信息更豐富。我已經注意你好久了！呵呵呵~~~
由於混合注意力中含有位置信息，因此它能夠在輸入序列中選擇下一個編碼的位置。這樣的機制更適用於輸出序列大於輸入序列的Seq2Seq任務，例如語音合成任務。
具體能夠參考如下論文：
5、高級的卷積網絡知識
No22 膠囊網絡與動態路由的論文：
這是一股爲圖像分類降溫的寒風，深入而又尖銳的點出了卷積網絡的硬傷！ 從事最大池化再無翻身之日。
雖然膠囊網絡再實際應用中，不像它的理論那麼牛，可是對AI的幫助，卷積的理解是革命性的。很是值得一讀。另外，這也是一篇絕對讓你對數學完全絕望的論文。花幾根白頭髮把裏面的算法啃下來吧。這樣你與大神就能更近一步。
膠囊網絡分爲主膠囊與數字膠囊，主膠囊與數字膠囊之間的耦合係數是經過訓練得來的。在訓練過程當中，耦合係數的更新不是經過反向梯度傳播實現的，而是採用動態路由選擇算法完成的。該算法來自如下論文連接：
目前膠囊網絡的研究還處於初級階段，隨着人們研究的深刻，相信這些問題會獲得解決。
No23 矩陣膠囊網絡與EM路由算法：
若是你以爲不過癮，那麼還能夠再看一篇。繼續自虐一下。
帶有EM（指望最大化）路由的矩陣膠囊網絡是動態路由膠囊網絡的一個改進版本。論文連接以下：
No24 膠囊網絡的其它用處：
膠囊網絡混身是寶，但就是本身不爭氣。這也說明還有上升的空間。就拿其中一個動態路由算法來說，竟然比普通的注意力還好。
看完以後，相信你必定會手癢！要不要也試試？把你的注意力換一下。值得你嘗試，會有彩蛋的！
該論文的實踐也證實，與原有的注意力機制相比，動態路由算法確實在精度上有所提高。具體介紹可見如下論文：
No25 卷積網絡新玩法TextCNN模型：
早先小編在一個項目中，本身用卷積網絡處理字符數據。本身感受很Happy。沒想到，無心間竟然發現了一篇一樣這麼幹的論文。竟然還有個名字，叫TextCNN。哎！惋惜啊！小編文化少，只會寫代碼，不會寫論文。
TextCNN模型是利用卷積神經網絡對文本進行分類的算法，由 Yoon Kim 在 Convolutional Neural Networks for Sentence Classification 一文中提出。論文地址：
6、圖像內容處理部分
No26 FPN模型論文（包含了ROIAlign的匹配算法）：
要是搞計算機視覺，仍是要建議看一下。很是的基礎。也是圖像分割方面的用得最多得模型。
FPN的原理是：將骨幹網絡最終特徵層和中間特徵層的多個尺度的特徵以相似金字塔的形式融合在一塊兒。最終的特徵能夠兼顧兩個特色——指向收斂目標的特徵準確、特徵語義信息豐富。更多信息能夠參考論文：
ROIAlign層中的匹配算法也來自於這篇FPN論文，連接以下：
No27 Mask R-CNN模型論文：
效果好，代碼多！硬貨！來啃吧！
Mask R-CNN模型是一個簡單、靈活、通用的對象實例分割框架。它可以有效地檢測圖像中的對象，併爲每一個實例生成高質量的分割掩碼，還能夠經過增長不一樣的分支完成不一樣的任務。它能夠完成目標分類、目標檢測、語義分割、實例分割、人體姿式識別等多種任務。具體細節能夠參考如下論文：
No28 YOLO V3模型論文：
這個模型的提點就是快！目標識別強烈推薦
YOLO V3模型的更多信息能夠參考如下連接中的論文：
No29 Anchor-Fress模型--FCOS模型論文：
隨着AI技術的進步Anchor-Fress模型死灰復燃（早先是YOLO V1那一批模型），此次不同的是完全乾掉帶Anchor的模型。訓練起來那就一個爽！媽媽不再用爲我準備單獨的Anchor標籤了。
與YOLO V1相比， FCOS模型的思想與YOLO V1模型很是類似，惟一不一樣的是FCOS模型沒有像YOLOv1那樣只考慮中心附近的點，而是利用了ground truth邊框中全部的點來進行預測邊框。而且經過 center-ness 分支來抑制那些效果不行的檢測邊框。這樣FCOS 就能夠改善YOLO V1模型總會漏掉部分檢測邊框的缺點。
相關論文地址：
No30 Anchor-Fress模型--CornerNet-Lite模型論文：
同樣也是Anchor-Fress模型，與FCOS效果差很少少，具體看一下論文吧
CornerNet-Lite模型。相關論文地址：
No31 棧式沙漏網絡模型--Hourglass論文：
最初用戶人的姿態估計，在符合模型中也是常被使用的模型。論文地址：
No32 OCR必修課——STN模型論文：
可讓模型自動仿射變化，你說牛不牛！要學OCR，就得從這個開始。
有關STN模型的論文連接以下：
7、循環神經網絡部分
No33 QRNN模型論文：
在RNN模型的cell裏，若是還只知道LSTM和GRU。那就太low了。快了補補吧：
若是想更多瞭解QRNN，能夠參考如下論文：
No34 SRU模型論文：
接着來，各類RNN的Cell。又漂亮，又好吃！
SRU單元在本質上與QRNN單元很像。從網絡構建上看，SRU單元有點像QRNN單元中的一個特例，可是又比QRNN單元多了一個直連的設計。
若須要研究SRU單元更深層面的理論，能夠參考以下論文：
No35 IndRNN模型論文：
再補一個，這可都是好cell啊！
將IndRNN單元配合ReLu等非飽和激活函數一塊兒使用，會使模型表現出更好的魯棒性。
有關IndRNN單元的更多理論，能夠參考論文：
No36 IndRNN模型論文：
最後，再來一個cell，如想要了解更多關於JANET單元的內容，能夠參考如下論文：
8、AI合成部分
No37-38 Tacotron與Tacotron-2模型論文：
AI合成部分的經典模型，以上結構來自Tacotron與Tacotron-2兩個結構，更多內容能夠參考如下兩篇論文：
No39 DeblurGAN模型論文：
圖片合成的論文太多了。這裏簡單列幾個，大致原理和思路瞭解，便可。
DeblurGAN模型是一個對抗神經網絡模型，由生成器模型和判別器模型組成。
—生成器模型，根據輸入的模糊圖片模擬生成清晰的圖片。
—判別器模型，用在訓練過程當中，幫助生成器模型達到更好的效果。
具體能夠參考論文：
No40 AttGAN模型論文：
一樣，這也是個圖片合成的。不一樣的是多屬性合成，相對比較有意思。
AttGAN模型由兩個子模型組成：
（1）利用編碼器模型將圖片特徵提取出來。
（2）將提取的特徵與指定的屬性值參數一塊兒輸入編碼器模型中，合成出最終的人臉圖片。
更多細節能夠參考論文：
No41 RNN.WGAN模型論文：
能夠合成文本的GAN。離散數據也能幹！
RNN.WGAN模型使用了WGAN模型的方法進行訓練。詳細作法能夠參考以下論文：
9、多任務學習
No42 MKR模型論文：
多任務學習模型有必要了解一下。這裏推薦一個論文給你看看。
MKR是一個多任務學習的端到端框架。該框架可以將兩個不一樣任務的低層特徵抽取出來，並融合在一塊兒實現聯合訓練，從而達到最優的結果。有關MKR的更多介紹能夠參考如下連接：
10、NLP部分
No43 BERT模型論文：
若是你搞NLP，那麼這個就不用我來介紹了。若是你準備搞NLP,那麼趕忙來看看這個，跟上時代。
BERT相關論文連接
在BERT以後，又出了好多優秀的模型。可是，仍是先把這個啃下來，再看別的纔不費勁。
11、模型攻防
No44 FGSM模型論文：
攻擊模型的經典方法。值得掌握。
FGSM（Fast Gradient Sign Method）是一種生成對抗樣本的方法。該方法的描述以下：
（1）將輸入圖片看成訓練的參數，使其在訓練過程當中能夠被調整。
（2）在訓練時，經過損失函數誘導模型對圖片生成錯誤的分類。
（3）當屢次迭代致使模型收斂後，訓練出來的圖片就是所要獲得的對抗樣本。
具體能夠參考論文：
No45 黑箱攻擊論文：
基於雅可比（Jacobian）矩陣的數據加強方法，是一種經常使用的黑箱攻擊方法。該方法能夠快速構建出近似於被攻擊模型的決策邊界，從而使用最少許的輸入樣本。即：構建出代替模型，並進行後續的攻擊操做。
詳細請見以下連接：
這裏只是列了一些基礎的論文。若是這45篇論文看完。能夠保證你再看到大廠的產品時，不會感受有代溝。
關注公衆帳號
【回覆數字「59」】
▼
往期福利關注飛馬會公衆號，回覆對應關鍵詞打包下載學習資料；回覆「入羣」，加入飛馬網AI、大數據、項目經理學習羣，和優秀的人一塊兒成長！
回覆 數字「2」機器學習 & 數據科學必讀的經典書籍，內附資料包！
回覆 數字「3」走進AI & ML：從基本的統計學到機器學習書單（附PDF下載）
- 1. 乾貨 | 高盛：2017人工智能報告中文版（附PDF版下載）
- 2. 瞭解《對抗樣本》必看的6篇論文【附打包下載地址】
- 3. 瞭解《行爲識別》必看的6篇論文【附打包下載地址】
- 4. 瞭解《神經網絡》必看的6篇論文【附打包下載地址】
- 5. 瞭解《語音識別》必看的6篇論文【附打包下載地址】
- 6. 瞭解《詩歌生成》必看的6篇論文【附打包下載地址】
- 7. 瞭解《行爲理解》必看的6篇論文【附打包下載地址】
- 8. 瞭解《泛化誤差》必看的6篇論文【附打包下載地址】
- 9. 瞭解《圖像分類》必看的6篇論文【附打包下載地址】
- 10. 人工智能白皮書 附下載地址
- 更多相關文章...
- • MySQL的版本以及版本號 - MySQL教程
- • 物理地址（MAC地址）是什麼？ - TCP/IP教程
- • IDEA下SpringBoot工程配置文件沒有提示
- • Docker容器實戰(七) - 容器眼光下的文件系統
-
每一个你不满意的现在，都有一个你没有努力的曾经。