寫的通常，從起源到具體算法-深度學習綜述

https://mp.weixin.qq.com/s/TdwMn_AwA6tSuKCaFRvCpg

 

近年來，深度學習做爲機器學習的新分支，其應用在多個領域取得巨大成功，並一直在快速發展，不斷開創新的應用模式，創造新機會。深度學習方法根據訓練數據是否擁有標記信息被劃分爲監督學習、半監督學習和無監督學習。實驗結果顯示了上述方法在圖像處理、計算機視覺、語音識別、機器翻譯、藝術、醫學成像、醫療信息處理、機器人控制和生物、天然語言處理（NLP）、網絡安全等領域的最新成果。本報告簡要概述了深度學習方法的發展，包括深度神經網絡（DNN）、卷積神經網絡（CNN）、循環神經網絡（RNN）（包括長短時間記憶（LSTM）和門控循環單元（GRU））、自 編碼器（AE）、深度信念網絡（DBN），生成對抗網絡（GAN）和深度強化學習（DRL）。此外，本文也涵蓋了深度學習方法前沿發展和高級變體深度學習技術。此外，深度學習方法在各個應用領域進行的探索和評估也包含在本次調查中。咱們還會談到最新開發的框架、SDK 和用於評估深度學習方法的基準數據集。然而，這些論文並無討論某些大型深度學習模型和最新開發的生成模型方法 。

 

 

 

特徵學習

 

傳統機器學習和深度學習之間的關鍵區別在於如何提取特徵。傳統機器學習方法經過應用幾種特徵提取算法，包括尺度不變特徵變換（SIFT）、加速魯棒特徵（SURF）、GIST、RANSAC、直方圖方向梯度（HOG）、局部二元模式（LBP）、經驗模式分解（EMD）語音分析等等。最後，包括支持向量機（SVM）、隨機森林（RF）、主成分分析（PCA）、核主成分分析（KPCA）、線性遞減分析（LDA）、Fisher 遞減分析（FDA）等不少學習算法都被人們應用於分類和提取特徵的任務。此外，其餘加強方法一般多個應用於單個任務或數據集特徵的學習算法，並根據不一樣算法的多個結果進行決策。

 

2. 自動語音識別 

 

深度學習經過 TIMIT 數據集（通用數據集一般用於評估）完成的小規模識別任務是深度學習在語音識別領域的初次成功體現。TIMIT 連續聲音 - 語音語料庫包含 630 位來自美國的八種主要英語口音使用者，每位發言人讀取 10 個句子。下圖總結了包括早期結果在內的錯誤率，並以過去 20 年的電話錯誤率（PER）來衡量。條形圖清楚地代表，與 TIMIT 數據集上之前的機器學習方法相比，最近開發的深度學習方法（圖頂部）表現更好。

 

 

 

本論文的其他部分的組織方式以下：

 

• 第二節討論 DNN 的詳細調查，
• 第三節討論 CNN；
• 第四節介紹了不一樣的先進技術，以有效地訓練深度學習模型；
• 第五節討論 RNN； 
• AE 和 RBM 在第六節中討論； 
• GAN 及其應用在第七節討論；
• 強化學習在第八節中介紹；
• 第九節解釋遷移學習； 
• 第十節介紹了深度學習的高效應用方法和硬件；
• 第十一節討論了深度學習框架和標準開發工具包（SDK）；
• 第十二節給出了不一樣應用領域的基準測試結果；第十三節爲結論。