Machine Learning Technologies（10月20日）

Linear regression

 

SVM（support vector machines）

Advantages：

·Effective in high dimensional spaces.

·Still effective in cases where number of dimensions is greater than the number of samples.

·Uses a subset of training points in the decision function (called support vectors), so it is also memory efficient.

·Versatile: different Kernel functions can be specified for the decision function. Common kernels are provided, but it is also possible to specify custom kernels.

在高維空間有效。

在維數大於樣本數的狀況下仍然有效。

在決策函數中使用訓練點的子集（稱爲支持向量），所以它也具備存儲效率。

多功能：能夠爲決策功能指定不一樣的內核功能。 提供了通用內核，可是也能夠指定自定義內核。

Disadvantage：

If the number of features is much greater than the number of samples, the method is likely to give poor performances.

SVMs do not directly provide probability estimates, these are calculated using an expensive five-fold cross-validation (see Scores and probabilities, below).

若是特徵數量遠大於樣本數量，則該方法可能會產生較差的性能。

SVM不直接提供機率估計，而是使用昂貴的五倍交叉驗證來計算的

 

線性可分

線性不可分（間隔margin最大）

在數據分析中會大量內存消耗，速度不快。

SVM在小量數據中範化能力好，在大數據中應用不佳.擁有很是好的泛化能力。

 

邏輯迴歸的算法

目標損失函數

 

Kernel methods(KMs)