想入門機器學習？機器之心爲你準備了一份中文資源合集

機器之心整理

參與：機器之心編輯部

機器學習日益廣爲人知，愈來愈多的計算機科學家和工程師投身其中。不幸的是，理論、算法、應用、論文、書籍、視頻等信息如此之多，很容易讓初學者迷失其中，不清楚如何才能提高技能。本文做者依據自身經驗給出了一套快速上手的可行方法及學習資源的分類彙總，機器之心在其基礎上作了增益，但願對讀者有所幫助。

先決條件

機器學習的基礎是數學。數學並不是是一個可選可不選的理論方法，而是不可或缺的支柱。若是你是一名計算機工程師，天天使用 UML、ORM、設計模式及其餘軟件工程工具／技術，那麼請閉眼一秒鐘，忘掉一切。這並非說這些概念不重要，毫不是！可是機器學習須要一種不一樣的方法。現在 Python 如此流行的緣由之一是其「原型設計速度」。在機器學習中，一種使用幾行代碼便可建模算法的語言絕對是必要的。

微積分、線性代數、機率論在機器學習幾乎全部算法中不可或缺。若是你的數學背景很紮實，請跳過這一章節。如若否則，那麼從新溫習一下這些重要概念也不錯。考慮到理論的數量，我並不建議你們從大部頭開始。儘管一開始能夠用它查詢具體概念，可是初學者先關注簡單的話題比較好。網上有不少好的在線資源（好比 Coursera、可汗學院或優達學城），實用且適合各類背景的人羣。可是我建議從提綱之類的簡明書籍上手，其中全部核心概念均被涉及，次要概念可在須要的時候自行查詢。這種方法雖然不夠系統，但卻避免了這樣的缺陷：大量晦澀概念使得沒有紮實理論背景的人望而卻步。

初學者最好先學習下列內容：

機率論

• 離散型和連續型隨機變量

• 主要分佈（伯努利分佈、二項式分佈、正態分佈、 指數分佈、 泊松分佈、Beta 和 Gamma 分佈）

• 矩估計和最大似然估計

• 貝葉斯統計

• 相關性係數和協方差（Correlation and Covariance）

線性代數

• 向量和矩陣

• 矩陣的行列式

• 特徵向量和特徵值

• 矩陣分解（如 SVD）

微積分

• 極限與導數

• 微分和積分

• 數值計算與最優化方法

網上有不少免費資源，好比

• 《機率論入門》，Grinstead、Snell 著（https://www.dartmouth.edu/~chance/teaching_aids/books_articles/probability_book/amsbook.mac.pdf）

• 《線性代數入門》，Wise、Gallagher 著（http://www.stat.columbia.edu/~liam/teaching/4315-spr06/LinAlg.pdf）

• 《微積分入門》，Heinbockel 著（http://www.math.odu.edu/~jhh/Volume-1.PDF）

維基百科上也有不少好資源，對方程、定理等進行了清晰易懂的解釋。

機器之心也介紹過許多數學基礎與概念：

• 基礎入門：深度學習矩陣運算的概念和代碼實現

• 想了解機率圖模型？你要先理解圖論的基本定義與形式

• 深度神經網絡中的數學，對你來講會不會太難？

• Reddit 熱門話題：如何閱讀並理解論文中的數學內容？

機器學習主要須要的數學基礎就是微積分、線性代數、機率論，咱們感受只須要掌握大學中常見的高數、線性代數、機率論與數理統計三門課程，基本上概念的理解就沒什麼問題了。若是再學一點數值計算和最優化等，咱們基本上就能理解機器學習的學習過程推導。

機器學習方法建議（面向初學者）

特徵工程

開始機器學習的第一步是理解如何評估和改進數據集的質量。管理特徵的類別和缺失、歸一化和降維（PCA、ICA、NMF）是大幅提升算法性能的基本技術，並且還有助於研究如何將數據集分割成訓練集和測試集、如何採起交叉驗證來取代傳統的測試方法。

機器之心也曾詳解過特徵工程如 PCA 降維算法的詳細理論與推導，固然咱們還介紹了其它有關特徵的概念：

• 從特徵分解到協方差矩陣：詳細剖析和實現PCA算法

• 基於TensorFlow理解三大降維技術：PCA、t-SNE 和自編碼器
  

• 彷佛沒區別，但你混淆過驗證集和測試集嗎？

Numpy：Python 數值計算之王！

使用 Python 時，Numpy 不只僅是一個庫。它是幾乎全部機器學習實現的基礎，所以瞭解它的工做原理、關注向量化和廣播（broadcasting）是很是必要的。這些技術能夠幫助加速大多數算法的學習過程，利用多線程和 SIMD、MIMD 架構的力量。

官方文檔已經很完整了，不過，我還建議你們看一下如下資源：

• 《Python 數據科學手冊：數據使用的核心工具》，VanderPlas J. 著

• 《Python 科學編程入門書》，LangTangen P. H. 著

• 維度、廣播操做與可視化：如何高效使用TensorFlow

數據可視化

Matplotlib 即便不是純粹的機器學習話題，瞭解如何可視化數據集也很重要。Matplotlib 多是最普遍使用的解決方案：Matplotlib 易用，容許繪製不一樣種類的圖表。Bokeh 和 Seaborne 提供了有趣的替代方案。沒必要要完全瞭解全部包，可是瞭解每個包的優勢和弱點仍是頗有用的，能夠幫助你選擇合適的包。

瞭解 Matplotlib 細節的資源：《掌握 Matplotlib》，McGreggor D. 著

線性迴歸

線性迴歸是最簡單的模型之一，能夠把它做爲一個優化問題來研究，該問題可經過最小化均方偏差而獲得求解。該方法雖然有效，可是限制了可利用的可能性。我建議還能夠把它看成貝葉斯問題，使用以前的可能性展現參數（好比，高斯分佈），優化變成了最大似然估計（Maximum Likelihood Estimation，MLE）。即便這看起來更加複雜，但該方法提供了一個可供幾十個其餘複雜模型共享的新方法。

Coursera 上介紹貝葉斯統計的課程：

• 《貝葉斯統計：從概念到數據分析》（https://www.coursera.org/learn/bayesian-statistics/）

• 《貝葉斯統計：技術與模型》（https://www.coursera.org/learn/mcmc-bayesian-statistics）

以及這兩本書：

• 《思考貝葉斯》，Downey B. A. 著

• 《黑客的貝葉斯方法》Davidson-Pilon C. 著

包括線性迴歸在內，機器之心曾介紹了一些解決迴歸問題的方法（後文提供了 CART 算法進行迴歸分析）：

• 初學TensorFlow機器學習：如何實現線性迴歸？
  

• 迴歸、分類與聚類：三大方向剖解機器學習算法的優缺點（附Python和R實現）

線性分類

一般狀況下，Logistic 迴歸是最佳起始點，也是研究信息論進而瞭解信息熵、交叉熵和互信息的好機會。類別交叉熵（Categorical cross-entropy）是深度學習分類中最穩定、使用最普遍的代價函數，一個簡單的 logistic 迴歸能夠展現它是如何加速學習過程的（與均方差相比）。另外一個重要的話題是正則化（Ridge、Lasso 和 ElasticNet）。不少狀況下，人們認爲它是一種提升模型準確率的深奧方式，可是它的真實意義是更準確，在具體實例的幫助下變得易於理解。我還建議剛開始的時候，把 logistic 迴歸看成一個簡單的神經網絡，可視化（以 2D 實例爲例）權重向量在學習過程當中的移動軌跡。

我還建議本節應包括超參數網格搜索。網格搜索不在沒有完整了解的狀況下嘗試不一樣的值，而是評估不一樣的超參數集的性能。所以，工程師能夠將注意力集中在可達到最高準確率的組合上。固然還有更增強大的貝葉斯優化方法，即利用先驗知識逼近未知目標函數的後驗分佈從而調節超參數的方法。

• 從頭開始：用Python實現帶隨機梯度降低的Logistic迴歸
  

• 如何經過牛頓法解決Logistic迴歸問題

• 擬合目標函數後驗分佈的調參利器：貝葉斯優化

支持向量機（SVM）

支持向量機提供了不一樣的分類方法（包括線性和非線性方法）。該算法很是簡單，具有基礎幾何知識的人也能夠學會。不過，瞭解核支持向量機的工做原理很是有用，由於它會在線性方法失敗的時候展現出其真正實力。

一些有用的免費資源：

• 《支持向量機簡明教程》，Law 著

• 核函數方法，維基百科詞條

• 詳解支持向量機SVM：快速可靠的分類算法

• 詳解支持向量機（附學習資源）

決策樹

決策樹提供了另外一種分類和迴歸的方法。一般，它們不是解決複雜問題的首選，但它們提供了徹底不一樣的方法，即便是非技術人員也能夠很容易理解，該方法還能夠在會議或演示中可視化。

• 教程 | 從頭開始：用Python實現決策樹算法

• 從決策樹到隨機森林：樹型算法的原理與實現
  

集成學習一覽

在理解了決策樹的動態特性之後，研究集成訓練樹的集（集成）來提升總體準確率的方法頗有用。隨機森林、梯度樹提高和 AdaBoost 都是強大的算法，且複雜度較低。對比簡單的樹和提高方法與 bagging 方法採用的樹的學習過程挺有趣的。Scikit-Learn 提供了最多見的實現方法，可是若是你想更好地駕馭這些方法，我仍是建議你在 XGBoost 上多花些時間，XGBoost 是一個既適用於 CPU 又適用於 GPU 的分佈式框架，即便在較大的數據集上也能加速學習過程。

• 從Boosting到Stacking，概覽集成學習的方法與性能

聚類

當開始聚類方法的學習時，個人建議是從高斯混合算法（基於指望最大化/EM）學起。雖然 K-均值聚類要更加簡單易懂（也是必需要學習的），可是高斯混合算法爲咱們提供了純粹的貝葉斯方法，在其餘相似任務中也十分實用。其它必學的算法還有層次聚類（Hierarchical Clustering）、譜聚類（Spectral Clustering）和 DBSCAN。這對你瞭解基於實例的學習或研究 K-近鄰算法（既適用於有監督又適用於無監督任務）也是有幫助的。譜聚類的一個有用的免費資源是：

• 《譜聚類教程》，Von Luxburg U 著

聚類算法是無監督學習中的表明，機器之心也曾詳細地介紹過各類聚類方法與實現：

• 機器理解大數據的祕密：聚類算法深度詳解

• 綜述分類、聚類和信息提取算法在文本挖掘領域內的應用
  

• 如何用Python和機器學習炒股賺錢？

神經網絡入門

神經網絡是深度學習的基礎，你能夠在單獨的課程中學習神經網絡。可是，我認爲理解感知機、多層感知機以及反向傳播算法的概念也頗有幫助。Scikit-Learn 提供了一個實現神經網絡的簡單方法，可是，開始探索 Keras 也是一個好主意，Keras 是一個基於 Tensorflow、Theano 或 CNTK 的高級架構，容許使用最少的努力對神經網絡進行建模和訓練。開始神經網絡學習的一些好資源：

• 《人工神經網絡基礎》Hassoun M 著

• 《Keras 深度學習》Gulli A.、 Pal S. 著

目前最好的深度學習書籍可能就是：

• 《深度學習》，Goodfellow I.、 Bengio Y.、Courville A. 著

• 最全的DNN概述論文：詳解前饋、卷積和循環神經網絡技術

• 機器之心GitHub項目：從零開始用TensorFlow搭建卷積神經網絡

• 深度神經網絡全面概述：從基本概念到實際模型和硬件基礎

• 訓練的神經網絡不工做？一文帶你跨過這37個坑
  

• TensorFlow從基礎到實戰：一步步教你建立交通標誌分類神經網絡

• 神經網絡快速入門：什麼是多層感知器和反向傳播？

• 教程 | 如何用30行JavaScript代碼編寫神經網絡異或運算器

• 神經網絡調試手冊：從數據集與神經網絡提及

• 神經網絡基礎：七種網絡單元，四種層鏈接方式

• 如何從信號分析角度理解卷積神經網絡的複雜機制？

• 神經網絡架構演進史：全面回顧從LeNet5到ENet十餘種架構（附論文）
  

• 麻省理工解讀神經網絡歷史，三篇論文剖析基礎理論

最後，咱們將介紹部分機器之心曾發過的綜述性技術文章或論文，並但願這些文章能對你們全面理解各類方法有所幫助：

• 自動駕駛計算機視覺研究綜述：難題、數據集與前沿成果

• 一文幫你發現各類出色的GAN變體

• 深度強化學習綜述：從AlphaGo背後的力量到學習資源分享

• 從FPS到RTS，一文概述遊戲人工智能中的深度學習算法

• 視覺問答全景概述：從數據集到技術方法

• 神經風格遷移研究概述：從當前研究到將來方向

• 從語言學到深度學習NLP，一文概述天然語言處理
  

• 遷移學習全面概述：從基本概念到相關研究

• 一文綜述全部用於推薦系統的深度學習方法

• 一文讀懂遺傳算法工做原理（附Python實現）

• 從自編碼器到生成對抗網絡：一文縱覽無監督學習研究現狀