python機器學習——使用scikit-learn訓練感知機模型

這一篇咱們將開始使用scikit-learn的API來實現模型並進行訓練，這個包大大方便了咱們的學習過程，其中包含了對經常使用算法的實現，並進行高度優化，以及含有數據預處理、調參和模型評估的不少方法。

咱們來看一個以前看過的實例，不過此次咱們使用sklearn來訓練一個感知器模型，數據集仍是Iris，使用其中兩維度的特徵，樣本數據使用三個類別的所有150個樣本

%matplotlib inline
import numpy as np
from sklearn import datasets

iris = datasets.load_iris()
X = iris.data[:, [2, 3]]
y = iris.target

np.unique(y)

array([0, 1, 2])

爲了評估訓練好的模型對新數據的預測能力，咱們這裏將Iris數據集分爲訓練集和測試集，這裏咱們經過調用trian_test_split方法來將數據集分爲兩部分，其中測試集佔30%，訓練集佔70%

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

咱們再將特徵進行縮放操做，這裏調用StandardScaler來對特徵進行標準化：

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
sc.fit(X_train)
X_train_std = sc.transform(X_train)
X_test_std = sc.transform(X_test)

新對象sc使用fit方法對數據集中每一維的特徵計算出樣本平均值和標準差，而後調用transform方法對數據集進行標準化，咱們這裏使用相同的標準化參數對待訓練集和測試集。接下來咱們訓練一個感知器模型

from sklearn.linear_model import Perceptron

ppn = Perceptron(max_iter=40, eta0=0.1, random_state=0)

ppn.fit(X_train_std, y_train)

Perceptron(alpha=0.0001, class_weight=None, early_stopping=False, eta0=0.1,
           fit_intercept=True, max_iter=40, n_iter_no_change=5, n_jobs=None,
           penalty=None, random_state=0, shuffle=True, tol=0.001,
           validation_fraction=0.1, verbose=0, warm_start=False)

y_pred = ppn.predict(X_test_std)

print('Misclassified samples: %d' % (y_test != y_pred).sum())

Misclassified samples: 5

能夠看出測試集中有5個樣本被分錯類了，所以錯誤分類率是0.11，則分類準確率爲1-0.11=0.89，咱們也能夠直接計算分類準確率：

from sklearn.metrics import accuracy_score

print('Accuracy: %.2f' % accuracy_score(y_test, y_pred))

Accuracy: 0.89

最後咱們畫出分界區域,這裏咱們將plot_decision_regions函數進行一些修改，使咱們能夠區分訓練集和測試集的樣本

from matplotlib.colors import ListedColormap
import matplotlib.pyplot as plt

def plot_decision_regions(X, y, classifier, test_idx=None, resolution=0.02):
    # setup marker generator and color map 
    markers = ('s', 'x', 'o', '^', 'v')
    colors = ('red', 'blue', 'lightgreen', 'gray', 'cyan')
    cmap = ListedColormap(colors[:len(np.unique(y))])
    
    # plot the decision surface
    x1_min, x1_max = X[:, 0].min() - 1, X[:, 0].max() + 1
    x2_min, x2_max = X[:, 1].min() - 1, X[:, 1].max() + 1
    xx1, xx2 = np.meshgrid(np.arange(x1_min, x1_max, resolution),
                          np.arange(x2_min, x2_max, resolution))
    Z = classifier.predict(np.array([xx1.ravel(), xx2.ravel()]).T)
    Z = Z.reshape(xx1.shape)
    plt.contourf(xx1, xx2, Z, slpha=0.4, cmap=cmap)
    plt.xlim(xx1.min(), xx1.max())
    plt.ylim(xx2.min(), xx2.max())
    
    # plot all samples
    X_test, y_test = X[test_idx, :], y[test_idx]
    for idx, cl in enumerate(np.unique(y)):
        plt.scatter(x=X[y == cl, 0], y=X[y == cl, 1], alpha=0.8,
                   c=cmap(idx), marker=markers[idx], label=cl)
    
    # highlight test samples
    if test_idx:
        X_test, y_test = X[test_idx, :], y[test_idx]
        plt.scatter(X_test[:, 0], X_test[:, 1], c='',alpha=1.0,
                   linewidth=1, marker='o', s=55, label='test set')

X_combined_std = np.vstack((X_train_std, X_test_std))

y_combined = np.hstack((y_train, y_test))

plot_decision_regions(X=X_combined_std, y=y_combined, classifier=ppn,
                     test_idx=range(105, 150))
plt.xlabel('petal length [standardized]')
plt.ylabel('petal width [standardized]')
plt.legend(loc='upper left')
plt.show()

能夠看出三個類別並無被完美分類，這是因爲這三類花並非線性可分的數據。