機器學習基本概念筆記

基本概念

神經網絡：NN Neural Network

卷積神經網絡：CNN  Convolutional Neural Network

循環神經網絡：RNN  Recurrent Neural Networks

深度神經網絡：DNN  Deep Neural Networks

天然語言處理；NLP  Natural Language Processing

神經語言程序學：NLP  Neuro-Linguistic Programming)

多層神經網絡：MLP  Multi-Layer Perceptron  (一個層叫線性迴歸，多個是MLP)

 

梯度降低法的三種形式：http://www.cnblogs.com/maybe2030/p/5089753.html

批量梯度降低法：BGD  Batch Gradient Descent

隨機梯度降低法：SGD  Stochastic Gradient Descent

小批量梯度降低法：MBGD  Mini-batch Gradient Descent

此外還有： Momentum, Nesterov Momentum, AdaGrad, RMSProp, Adam  

http://blog.csdn.net/u014595019/article/details/52989301

 BP算法：是由學習過程由信號的正向傳播與偏差的反向傳播兩個過程組成。因爲多層前饋網絡的訓練常常採用偏差反向傳播算法，人們也常把將多層前饋網絡直接稱爲BP網絡。Error Back Propagation，偏差反向傳播。

數據集 Data Set

樣本 Sample

屬性  Attribute  特徵 Feature

特徵值 Feature Value

特徵和樣本所張成的空間：

特徵空間  Feature Space  樣本空間 Sample Space  標籤空間 Label Space

模型是分類器時，類別空間

數據集：訓練集Training Set  測試集 Test Set  交叉驗證集 Cross-Validation Set （CV Set）

假設空間：模型在數學上的適用場景

泛化能力：模型在未知數據上的表現

數據集網站：http://archive.ics.uci.edu/ml/datasets.html

結構風險最小化：SRM Structural Risk Minization

傳統爲：經驗風險最小化 ERM Empirical Risk Minization

三種交叉驗證： S-fold Cross validation （S折交叉驗證）  留一交叉驗證 （Leave-one-out Cross Validation）  簡單交叉驗證

極大似然估計：ML估計 Maximum Likelihood Estimate

極大後驗機率估計：MAP

貝葉斯決策論：Bayesian Decision Theory

樸素貝葉斯：Naive Bayes

離散型樸素貝葉斯：MultinomialNB

連續性樸素貝葉斯：GaussianNB

混合型樸素貝葉斯：MergedNB