機器學習系列：概覽

機器學習機器學習是近20多年興起的一門多領域交叉學科，涉及機率論、統計學、逼近論、凸分析、算法複雜度理論等多門學科。機器學習理論主要是設計和分析一些讓計算機能夠自動「學習」的算法。機器學習算法是一類從數據中自動分析得到規律，並利用規律對未知數據進行預測的算法。由於學習算法中涉及了大量的統計學理論，機器學習與統計推斷學聯繫尤其密切，也被稱爲統計學習理論。算法設計方面，機器學習理論關注能夠實現的，行之有效的學習算法。

下面從微觀到宏觀試着梳理一下機器學習的範疇：一個具體的算法，領域進一步細分，實戰應用場景，與其餘領域的關係。

圖1: 機器學習的例子：NLTK監督學習的工做流程圖 (source: http://www.nltk.org/book/ch06.html)

圖2: 機器學習概要圖 by Yaser Abu-Mostafa (Caltech) (source: http://work.caltech.edu/library/181.html)

圖3: 機器學習實戰：在python scikit learn 中選擇機器學習算法 by Nishant Chandra (source: http://n-chandra.blogspot.com/2013/01/picking-machine-learning-algorithm.html)

圖4: 機器學習和其餘學科的關係：數據科學的地鐵圖 by Swami Chandrasekaran (source: http://nirvacana.com/thoughts/becoming-a-data-scientist/)

入門攻略

大體分三類：起步體悟，實戰筆記，行家導讀

機器學習入門者學習指南 @果殼網 (2013) 做者白馬 -- [起步體悟] 研究生型入門者的親身經歷
有沒有作機器學習的哥們？可否介紹一下是如何起步的 @ourcoders -- [起步體悟] 研究生型入門者的親身經歷，尤爲要看reyoung的建議
tornadomeet 機器學習筆記 (2013) -- [實戰筆記] 學霸的學習筆記，看看小夥伴是怎樣一步一步地掌握「機器學習」
Machine Learning Roadmap: Your Self-Study Guide to Machine Learning (2014) Jason Brownlee -- [行家導讀] 雖然是英文版，但很是容易讀懂。對Beginner,Novice,Intermediate,Advanced讀者都有覆蓋。
- A Tour of Machine Learning Algorithms （2013）這篇關於機器學習算法分類的文章也很是好
- Best Machine Learning Resources for Getting Started（2013）這片有中文翻譯機器學習的最佳入門學習資源 @伯樂在線譯者 programmer_lin
門主的幾個建議
- 既要有數學基礎，也要編程實踐
- 別怕英文版，你不懂的大可能是專業名詞，未來不論寫文章仍是讀文檔都是英文爲主
- [我是小廣告][我是小廣告]訂閱機器學習日報，跟蹤業內熱點資料。

課程資源

Tom Mitchell 和 Andrew Ng 的課都很適合入門

入門課程

2011 Tom Mitchell(CMU)機器學習

英文原版視頻與課件PDF 他的《機器學習》在不少課程上被選作教材，有中文版。

Decision Trees
Probability and Estimation
Naive Bayes
Logistic Regression
Linear Regression
Practical Issues: Feature selection，Overfitting ...
Graphical models: Bayes networks, EM，Mixture of Gaussians clustering ...
Computational Learning Theory: PAC Learning, Mistake bounds ...
Semi-Supervised Learning
Hidden Markov Models
Neural Networks
Learning Representations: PCA, Deep belief networks, ICA, CCA ...
Kernel Methods and SVM
Active Learning
Reinforcement Learning 以上爲課程標題節選

2014 Andrew Ng (Stanford)機器學習

英文原版視頻這就是針對自學而設計的，免費還有修課認證。「老師講的是深刻淺出，不用太擔憂數學方面的東西。並且做業也很是適合入門者，都是設計好的程序框架，有做業指南，根據做業指南填寫該完成的部分就行。」（參見白馬同窗的入門攻略）"推薦報名，跟着上課，作課後習題和期末考試。(由於只看不幹，啥都學不會)。" (參見reyoung的建議）

Introduction (Week 1)
Linear Regression with One Variable (Week 1)
Linear Algebra Review (Week 1, Optional)
Linear Regression with Multiple Variables (Week 2)
Octave Tutorial (Week 2)
Logistic Regression (Week 3)
Regularization (Week 3)
Neural Networks: Representation (Week 4)
Neural Networks: Learning (Week 5)
Advice for Applying Machine Learning (Week 6)
Machine Learning System Design (Week 6)
Support Vector Machines (Week 7)
Clustering (Week 8)
Dimensionality Reduction (Week 8)
Anomaly Detection (Week 9)
Recommender Systems (Week 9)
Large Scale Machine Learning (Week 10)
Application Example: Photo OCR
Conclusion

進階課程

2013年Yaser Abu-Mostafa (Caltech) Learning from Data -- 內容更適合進階課程視頻,課件PDF@Caltech

The Learning Problem
Is Learning Feasible?
The Linear Model I
Error and Noise
Training versus Testing
Theory of Generalization
The VC Dimension
Bias-Variance Tradeoff
The Linear Model II
Neural Networks
Overfitting
Regularization
Validation
Support Vector Machines
Kernel Methods
Radial Basis Functions
Three Learning Principles
Epilogue

2014年林軒田(國立臺灣大學) 機器學習基石 (Machine Learning Foundations) -- 內容更適合進階，華文的教學講解課程主頁

When Can Machines Learn? [何時可使用機器學習] The Learning Problem [機器學習問題] -- Learning to Answer Yes/No [二元分類] -- Types of Learning [各式機器學習問題] -- Feasibility of Learning [機器學習的可行性]

Why Can Machines Learn? [為什麼機器能夠學習] -- Training versus Testing [訓練與測試] -- Theory of Generalization [舉一反三的通常化理論] -- The VC Dimension [VC 維度] -- Noise and Error [雜訊一錯誤]

How Can Machines Learn? [機器能夠怎麼樣學習] -- Linear Regression [線性迴歸] -- Linear `Soft' Classification [軟性的線性分類] -- Linear Classification beyond Yes/No [二元分類之外的分類問題] -- Nonlinear Transformation [非線性轉換]

How Can Machines Learn Better? [機器能夠怎麼樣學得更好] -- Hazard of Overfitting [過度訓練的危險] -- Preventing Overfitting I: Regularization [避免過度訓練一：控制調適] -- Preventing Overfitting II: Validation [避免過度訓練二：自我檢測] -- Three Learning Principles [三個機器學習的重要原則]

論壇網站

中文

http://www.52ml.net/ 我愛機器學習

http://www.mitbbs.com/bbsdoc/DataSciences.html MITBBS－電腦網絡 - 數據科學版

http://www.guokr.com/group/262/ 果殼 > 機器學習小組

http://cos.name/cn/forum/22 統計之都 » 統計學世界 » 數據挖掘和機器學習

http://bbs.byr.cn/#!board/ML_DM 北郵人論壇 >> 學術科技 >> 機器學習與數據挖掘

英文

https://github.com/josephmisiti/awesome-machine-learning 機器學習資源大全

http://work.caltech.edu/library/ Caltech 機器學習視頻教程庫，每一個課題一個視頻

http://www.kdnuggets.com/ 數據挖掘名站

http://www.datasciencecentral.com/ 數據科學中心網站

東拉西扯

一些好東西，入門前未必看得懂，要等學有小成時再看才能體會。

機器學習與數據挖掘的區別

機器學習關注從訓練數據中學到已知屬性進行預測
數據挖掘側重從數據中發現未知屬性

Dan Levin, What is the difference between statistics, machine learning, AI and data mining?

If there are up to 3 variables, it is statistics.
If the problem is NP-complete, it is machine learning.
If the problem is PSPACE-complete, it is AI.
If you don't know what is PSPACE-complete, it is data mining.

幾篇高屋建瓴的機器學習領域概論, 參見原文

The Discipline of Machine LearningTom Mitchell 當年爲在CMU創建機器學習系給校長寫的東西。
A Few Useful Things to Know about Machine Learning Pedro Domingos教授的大道理，也許入門時不少概念還不明白，上完公開課後必定要再讀一遍。

幾本好書