機器學習 | 算法筆記- k近鄰（KNN）

前言

本系列爲機器學習算法的總結和概括，目的爲了清晰闡述算法原理，同時附帶上手代碼實例，便於理解。

目錄

　　 k近鄰（KNN）

　　 決策樹

　　 線性迴歸

　　 邏輯斯蒂迴歸

　　 樸素貝葉斯

　　 支持向量機（SVM）

　　組合算法（Ensemble Method）

　　 K-Means

　　機器學習算法總結

 

本章爲k近鄰算法，內容包括模型介紹及代碼實現（包括自主實現和sklearn案例）。

1、算法簡介

1.1 基本概念

k近鄰法(k-nearest neighbor, k-NN)是1967年由Cover T和Hart P提出的一種基本分類與迴歸方法。

基本概念以下：存在一個樣本數據集合，全部特徵屬性已知，而且樣本集中每一個對象都已知所屬分類。對不知道分類的待測對象，將待測對象的每一個特徵屬性與樣本集中數據對應的特徵屬性進行比較，而後算法提取樣本最類似對象(最近鄰)的分類標籤。通常來講，咱們只選擇樣本數據集中前k個最類似的對象數據，這就是k-近鄰算法中k的出處，一般k是不大於20的整數。最後根據這k個數據的特徵和屬性，判斷待測數據的分類

1.2 K近鄰的三個基本要素

　　1） k值的選取。在應用中，k值通常選擇一個比較小的值，通常選用交叉驗證來取最優的k值

　　2）距離度量。 L_p距離：偏差絕對值p次方求和再求p次根。歐式距離：p=2的 L_p距離。曼哈頓距離：p=1的 L_p距離。p爲無窮大時， L_p距離爲各個維度上距離的最大值

　　3）分類決策規則。也就是如何根據k個最近鄰決定待測對象的分類。k最近鄰的分類決策規則通常選用多數表決

1.3 KNN基本執行步驟

　　1）計算待測對象和訓練集中每一個樣本點的歐式距離

　　2）對上面的全部距離值排序

　　3）選出k個最小距離的樣本做爲「選民」

　　4）根據「選民」預測待測樣本的分類或值

1.4 KNN特色

　　1）原理簡單

　　2）保存模型須要保存全部樣本集

　　3）訓練過程很快，預測速度很慢

  · 優勢：

　　簡單好用，容易理解，精度高，理論成熟，既能夠用來作分類也能夠用來作迴歸；

　　可用於非線性分類；

　　可用於數值型數據和離散型數據（既能夠用來估值，又能夠用來分類）

　　訓練時間複雜度爲O(n)；無數據輸入假定；

　　對異常值不敏感。

　　準確度高，對數據沒有假設，對outlier不敏感；

  · 缺點：

　　計算複雜性高；空間複雜性高；須要大量的內存

　　樣本不平衡問題（即有些類別的樣本數量不少，而其它樣本的數量不多）；

　　通常數值很大的時候不用這個，計算量太大。可是單個樣本又不能太少，不然容易發生誤分。

　　最大的缺點是沒法給出數據的內在含義。

 

須要思考的問題：

樣本屬性如何選擇？如何計算兩個對象間距離？當樣本各屬性的類型和尺度不一樣時如何處理？各屬性不一樣重要程度如何處理？模型的好壞如何評估？

2、代碼實現

K近鄰算法的通常流程：收集數據- 準備數據- 分析數據- 測試算法- 使用算法

2.1 python3代碼實現

2.1.1

首先以電影分類爲例，瞭解kNN工做流程。主要包括建立數據，迭代計算兩點公式。代碼以下

# -*- coding: UTF-8 -*-
import numpy as np
import operator
import collections

"""
函數說明:建立數據集

Parameters:
    無
Returns:
    group - 數據集
    labels - 分類標籤

"""
def createDataSet():
    #四組二維特徵
    group = np.array([[1,101],[5,89],[108,5],[115,8]])
    #四組特徵的標籤
    labels = ['愛情片','愛情片','動做片','動做片']
    return group, labels

"""
函數說明:kNN算法,分類器

Parameters:
    inX - 用於分類的數據(測試集)
    dataSet - 用於訓練的數據(訓練集)
    labes - 分類標籤
    k - kNN算法參數,選擇距離最小的k個點
Returns:
    sortedClassCount[0][0] - 分類結果

"""
def classify0(inx, dataset, labels, k):
    # 計算距離
    dist = np.sum((inx - dataset)**2, axis=1)**0.5
    # k個最近的標籤
    k_labels = [labels[index] for index in dist.argsort()[0 : k]]
    # 出現次數最多的標籤即爲最終類別
    label = collections.Counter(k_labels).most_common(1)[0][0]
    return label

if __name__ == '__main__':
    #建立數據集
    group, labels = createDataSet()
    #測試集
    test = [101,20]
    #kNN分類
    test_class = classify0(test, group, labels, 3)
    #打印分類結果
    print(test_class)

View Code

2.1.2

以K近鄰算法實現約會網站配對效果斷定。

  1）下載數據集 datingTestSet.txt

  2）準備數據：數據解析

      將數據分爲特徵矩陣和對應的分類標籤矩陣。

# -*- coding: UTF-8 -*-
import numpy as np
"""
函數說明:打開並解析文件，對數據進行分類：1表明不喜歡,2表明魅力通常,3表明極具魅力

Parameters:
    filename - 文件名
Returns:
    returnMat - 特徵矩陣
    classLabelVector - 分類Label向量

"""
def file2matrix(filename):
    #打開文件
    fr = open(filename)
    #讀取文件全部內容
    arrayOLines = fr.readlines()
    #獲得文件行數
    numberOfLines = len(arrayOLines)
    #返回的NumPy矩陣,解析完成的數據:numberOfLines行,3列
    returnMat = np.zeros((numberOfLines,3))
    #返回的分類標籤向量
    classLabelVector = []
    #行的索引值
    index = 0
    for line in arrayOLines:
        #s.strip(rm)，當rm空時,默認刪除空白符(包括'\n','\r','\t',' ')
        line = line.strip()
        #使用s.split(str="",num=string,cout(str))將字符串根據'\t'分隔符進行切片。
        listFromLine = line.split('\t')
        #將數據前三列提取出來,存放到returnMat的NumPy矩陣中,也就是特徵矩陣
        returnMat[index,:] = listFromLine[0:3]
        #根據文本中標記的喜歡的程度進行分類,1表明不喜歡,2表明魅力通常,3表明極具魅力
        if listFromLine[-1] == 'didntLike':
            classLabelVector.append(1)
        elif listFromLine[-1] == 'smallDoses':
            classLabelVector.append(2)
        elif listFromLine[-1] == 'largeDoses':
            classLabelVector.append(3)
        index += 1
    return returnMat, classLabelVector

"""
函數說明:main函數
Parameters:
    無
Returns:
    無
"""
if __name__ == '__main__':
    #打開的文件名
    filename = "datingTestSet.txt"
    #打開並處理數據
    datingDataMat, datingLabels = file2matrix(filename)
    print(datingDataMat)
    print(datingLabels)

View Code

  3）分析數據：數據可視化

　　直觀的發現數據的規律

"""
函數說明:可視化數據

Parameters:
    datingDataMat - 特徵矩陣
    datingLabels - 分類Label
Returns:
    無

"""
def showdatas(datingDataMat, datingLabels):
    #設置漢字格式
    font = FontProperties(fname=r"c:\windows\fonts\simsun.ttc", size=14)
    #將fig畫布分隔成1行1列,不共享x軸和y軸,fig畫布的大小爲(13,8)
    #當nrow=2,nclos=2時,表明fig畫布被分爲四個區域,axs[0][0]表示第一行第一個區域
    fig, axs = plt.subplots(nrows=2, ncols=2,sharex=False, sharey=False, figsize=(13,8))

    numberOfLabels = len(datingLabels)
    LabelsColors = []
    for i in datingLabels:
        if i == 1:
            LabelsColors.append('black')
        if i == 2:
            LabelsColors.append('orange')
        if i == 3:
            LabelsColors.append('red')
    #畫出散點圖,以datingDataMat矩陣的第一(飛行常客例程)、第二列(玩遊戲)數據畫散點數據,散點大小爲15,透明度爲0.5
    axs[0][0].scatter(x=datingDataMat[:,0], y=datingDataMat[:,1], color=LabelsColors,s=15, alpha=.5)
    #設置標題,x軸label,y軸label
    axs0_title_text = axs[0][0].set_title(u'每一年得到的飛行常客里程數與玩視頻遊戲所消耗時間佔比',FontProperties=font)
    axs0_xlabel_text = axs[0][0].set_xlabel(u'每一年得到的飛行常客里程數',FontProperties=font)
    axs0_ylabel_text = axs[0][0].set_ylabel(u'玩視頻遊戲所消耗時間佔',FontProperties=font)
    plt.setp(axs0_title_text, size=9, weight='bold', color='red') 
    plt.setp(axs0_xlabel_text, size=7, weight='bold', color='black') 
    plt.setp(axs0_ylabel_text, size=7, weight='bold', color='black')

    #畫出散點圖,以datingDataMat矩陣的第一(飛行常客例程)、第三列(冰激凌)數據畫散點數據,散點大小爲15,透明度爲0.5
    axs[0][1].scatter(x=datingDataMat[:,0], y=datingDataMat[:,2], color=LabelsColors,s=15, alpha=.5)
    #設置標題,x軸label,y軸label
    axs1_title_text = axs[0][1].set_title(u'每一年得到的飛行常客里程數與每週消費的冰激淋公升數',FontProperties=font)
    axs1_xlabel_text = axs[0][1].set_xlabel(u'每一年得到的飛行常客里程數',FontProperties=font)
    axs1_ylabel_text = axs[0][1].set_ylabel(u'每週消費的冰激淋公升數',FontProperties=font)
    plt.setp(axs1_title_text, size=9, weight='bold', color='red') 
    plt.setp(axs1_xlabel_text, size=7, weight='bold', color='black') 
    plt.setp(axs1_ylabel_text, size=7, weight='bold', color='black')

    #畫出散點圖,以datingDataMat矩陣的第二(玩遊戲)、第三列(冰激凌)數據畫散點數據,散點大小爲15,透明度爲0.5
    axs[1][0].scatter(x=datingDataMat[:,1], y=datingDataMat[:,2], color=LabelsColors,s=15, alpha=.5)
    #設置標題,x軸label,y軸label
    axs2_title_text = axs[1][0].set_title(u'玩視頻遊戲所消耗時間佔比與每週消費的冰激淋公升數',FontProperties=font)
    axs2_xlabel_text = axs[1][0].set_xlabel(u'玩視頻遊戲所消耗時間佔比',FontProperties=font)
    axs2_ylabel_text = axs[1][0].set_ylabel(u'每週消費的冰激淋公升數',FontProperties=font)
    plt.setp(axs2_title_text, size=9, weight='bold', color='red') 
    plt.setp(axs2_xlabel_text, size=7, weight='bold', color='black') 
    plt.setp(axs2_ylabel_text, size=7, weight='bold', color='black')
    #設置圖例
    didntLike = mlines.Line2D([], [], color='black', marker='.',
                      markersize=6, label='didntLike')
    smallDoses = mlines.Line2D([], [], color='orange', marker='.',
                      markersize=6, label='smallDoses')
    largeDoses = mlines.Line2D([], [], color='red', marker='.',
                      markersize=6, label='largeDoses')
    #添加圖例
    axs[0][0].legend(handles=[didntLike,smallDoses,largeDoses])
    axs[0][1].legend(handles=[didntLike,smallDoses,largeDoses])
    axs[1][0].legend(handles=[didntLike,smallDoses,largeDoses])
    #顯示圖片
    plt.show()

View Code

  4）數據準備：數據歸一化

　　使用autoNorm函數自動將數據歸一化

"""
函數說明:對數據進行歸一化
 
Parameters:
    dataSet - 特徵矩陣
Returns:
    normDataSet - 歸一化後的特徵矩陣
    ranges - 數據範圍
    minVals - 數據最小值
 
"""
def autoNorm(dataSet):
    #得到數據的最小值
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    #最大值和最小值的範圍
    ranges = maxVals - minVals
    #shape(dataSet)返回dataSet的矩陣行列數
    normDataSet = np.zeros(np.shape(dataSet))
    #返回dataSet的行數
    m = dataSet.shape[0]
    #原始值減去最小值
    normDataSet = dataSet - np.tile(minVals, (m, 1))
    #除以最大和最小值的差,獲得歸一化數據
    normDataSet = normDataSet / np.tile(ranges, (m, 1))
    #返回歸一化數據結果,數據範圍,最小值
    return normDataSet, ranges, minVals

View Code

  5）構建、驗證分類器

　　將數據分爲90%樣本集和10%的測試機（能夠調整）

# -*- coding: UTF-8 -*-
import numpy as np
import operator

"""
函數說明:kNN算法,分類器

Parameters:
    inX - 用於分類的數據(測試集)
    dataSet - 用於訓練的數據(訓練集)
    labes - 分類標籤
    k - kNN算法參數,選擇距離最小的k個點
Returns:
    sortedClassCount[0][0] - 分類結果

"""
def classify0(inX, dataSet, labels, k):
    #numpy函數shape[0]返回dataSet的行數
    dataSetSize = dataSet.shape[0]
    #在列向量方向上重複inX共1次(橫向),行向量方向上重複inX共dataSetSize次(縱向)
    diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet
    #二維特徵相減後平方
    sqDiffMat = diffMat**2
    #sum()全部元素相加,sum(0)列相加,sum(1)行相加
    sqDistances = sqDiffMat.sum(axis=1)
    #開方,計算出距離
    distances = sqDistances**0.5
    #返回distances中元素從小到大排序後的索引值
    sortedDistIndices = distances.argsort()
    #定一個記錄類別次數的字典
    classCount = {}
    for i in range(k):
        #取出前k個元素的類別
        voteIlabel = labels[sortedDistIndices[i]]
        #dict.get(key,default=None),字典的get()方法,返回指定鍵的值,若是值不在字典中返回默認值。
        #計算類別次數
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    #python3中用items()替換python2中的iteritems()
    #key=operator.itemgetter(1)根據字典的值進行排序
    #key=operator.itemgetter(0)根據字典的鍵進行排序
    #reverse降序排序字典
    sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    #返回次數最多的類別,即所要分類的類別
    return sortedClassCount[0][0]

"""
函數說明:分類器測試函數

Parameters:
    無
Returns:
    normDataSet - 歸一化後的特徵矩陣
    ranges - 數據範圍
    minVals - 數據最小值

"""
def datingClassTest():
    #打開的文件名
    filename = "datingTestSet.txt"
    #將返回的特徵矩陣和分類向量分別存儲到datingDataMat和datingLabels中
    datingDataMat, datingLabels = file2matrix(filename)
    #取全部數據的百分之十
    hoRatio = 0.10
    #數據歸一化,返回歸一化後的矩陣,數據範圍,數據最小值
    normMat, ranges, minVals = autoNorm(datingDataMat)
    #得到normMat的行數
    m = normMat.shape[0]
    #百分之十的測試數據的個數
    numTestVecs = int(m * hoRatio)
    #分類錯誤計數
    errorCount = 0.0

    for i in range(numTestVecs):
        #前numTestVecs個數據做爲測試集,後m-numTestVecs個數據做爲訓練集
        classifierResult = classify0(normMat[i,:], normMat[numTestVecs:m,:],
            datingLabels[numTestVecs:m], 4)
        print("分類結果:%d\t真實類別:%d" % (classifierResult, datingLabels[i]))
        if classifierResult != datingLabels[i]:
            errorCount += 1.0
    print("錯誤率:%f%%" %(errorCount/float(numTestVecs)*100))

View Code

  6）使用算法：構建完整可用系統

"""
函數說明:經過輸入一我的的三維特徵,進行分類輸出

Parameters:
    無
Returns:
    無
"""
def classifyPerson():
    #輸出結果
    resultList = ['討厭','有些喜歡','很是喜歡']
    #三維特徵用戶輸入
    precentTats = float(input("玩視頻遊戲所耗時間百分比:"))
    ffMiles = float(input("每一年得到的飛行常客里程數:"))
    iceCream = float(input("每週消費的冰激淋公升數:"))
    #打開的文件名
    filename = "datingTestSet.txt"
    #打開並處理數據
    datingDataMat, datingLabels = file2matrix(filename)
    #訓練集歸一化
    normMat, ranges, minVals = autoNorm(datingDataMat)
    #生成NumPy數組,測試集
    inArr = np.array([ffMiles, precentTats, iceCream])
    #測試集歸一化
    norminArr = (inArr - minVals) / ranges
    #返回分類結果
    classifierResult = classify0(norminArr, normMat, datingLabels, 3)
    #打印結果
    print("你可能%s這我的" % (resultList[classifierResult-1]))

View Code

在cmd中，運行程序，並輸入數據(12,44000,0.5)，預測結果是"你可能有些喜歡這我的"，也就是這我的魅力通常。一共有三個檔次：討厭、有些喜歡、很是喜歡，對應着不喜歡的人、魅力通常的人、極具魅力的人。

本部分完整代碼請見：

2.2 sklearn包實現

關於sklearn的詳細介紹，請見以前的博客  http://www.javashuo.com/article/p-wlbrhlpi-ky.html

2.2.1 

sklearn實現k-近鄰算法簡介  官方文檔

2.2.2 KNeighborsClassifier函數8個參數

　　- n_neighbors：k值，選取最近的k個點，默認爲5。

　　- weights：默認是uniform，參數能夠是uniform（均等權重）、distance（按距離分配權重），也能夠是用戶本身定義的函數。uniform是均等的權重，就說全部的鄰近點的權重都是相等的。

　　- algorithm：快速k近鄰搜索算法，默認參數爲auto。除此以外，用戶也能夠本身指定搜索算法ball_tree、kd_tree、brute方法進行搜索。

　　- leaf_size：默認是30，這個是構造的kd樹和ball樹的大小。這個值的設置會影響樹構建的速度和搜索速度，一樣也影響着存儲樹所需的內存大小。須要根據問題的性質選擇最優的大小。

　　- metric：用於距離度量，默認度量是minkowski，也就是p=2的歐氏距離(歐幾里德度量)。

　　- p：距離度量公式。歐氏距離和曼哈頓距離。這個參數默認爲2，也能夠設置爲1。

　　- metric_params：距離公式的其餘關鍵參數，這個能夠無論，使用默認的None便可。

　　- n_jobs：並行處理設置。默認爲1，臨近點搜索並行工做數。若是爲-1，那麼CPU的全部cores都用於並行工做。

2.2.3 實例

基於sklearn實現手寫數字識別系統

# -*- coding: UTF-8 -*-
import numpy as np
import operator
from os import listdir
from sklearn.neighbors import KNeighborsClassifier as kNN

"""
函數說明:將32x32的二進制圖像轉換爲1x1024向量。

Parameters:
    filename - 文件名
Returns:
    returnVect - 返回的二進制圖像的1x1024向量

"""
def img2vector(filename):
    #建立1x1024零向量
    returnVect = np.zeros((1, 1024))
    #打開文件
    fr = open(filename)
    #按行讀取
    for i in range(32):
        #讀一行數據
        lineStr = fr.readline()
        #每一行的前32個元素依次添加到returnVect中
        for j in range(32):
            returnVect[0, 32*i+j] = int(lineStr[j])
    #返回轉換後的1x1024向量
    return returnVect

"""
函數說明:手寫數字分類測試

Parameters:
    無
Returns:
    無

"""
def handwritingClassTest():
    #測試集的Labels
    hwLabels = []
    #返回trainingDigits目錄下的文件名
    trainingFileList = listdir('trainingDigits')
    #返回文件夾下文件的個數
    m = len(trainingFileList)
    #初始化訓練的Mat矩陣,測試集
    trainingMat = np.zeros((m, 1024))
    #從文件名中解析出訓練集的類別
    for i in range(m):
        #得到文件的名字
        fileNameStr = trainingFileList[i]
        #得到分類的數字
        classNumber = int(fileNameStr.split('_')[0])
        #將得到的類別添加到hwLabels中
        hwLabels.append(classNumber)
        #將每個文件的1x1024數據存儲到trainingMat矩陣中
        trainingMat[i,:] = img2vector('trainingDigits/%s' % (fileNameStr))
    #構建kNN分類器
    neigh = kNN(n_neighbors = 3, algorithm = 'auto')
    #擬合模型, trainingMat爲訓練矩陣,hwLabels爲對應的標籤
    neigh.fit(trainingMat, hwLabels)
    #返回testDigits目錄下的文件列表
    testFileList = listdir('testDigits')
    #錯誤檢測計數
    errorCount = 0.0
    #測試數據的數量
    mTest = len(testFileList)
    #從文件中解析出測試集的類別並進行分類測試
    for i in range(mTest):
        #得到文件的名字
        fileNameStr = testFileList[i]
        #得到分類的數字
        classNumber = int(fileNameStr.split('_')[0])
        #得到測試集的1x1024向量,用於訓練
        vectorUnderTest = img2vector('testDigits/%s' % (fileNameStr))
        #得到預測結果
        # classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
        classifierResult = neigh.predict(vectorUnderTest)
        print("分類返回結果爲%d\t真實結果爲%d" % (classifierResult, classNumber))
        if(classifierResult != classNumber):
            errorCount += 1.0
    print("總共錯了%d個數據\n錯誤率爲%f%%" % (errorCount, errorCount/mTest * 100))


"""
函數說明:main函數

Parameters:
    無
Returns:
    無

"""
if __name__ == '__main__':
    handwritingClassTest()

View Code

能夠嘗試更改這些參數的設置，加深對其函數的理解。

 

 

參考：

https://blog.csdn.net/luanpeng825485697/article/details/78796773

http://cuijiahua.com/blog/2017/11/ml_1_knn.html