分類（四）：邏輯迴歸(Logistic Regression)

理論知識的理解參考：http://blog.csdn.net/zouxy09/article/details/20319673

對於數學公式不知道怎麼推導出來的，能夠參考：http://pan.baidu.com/s/1hqLeaMS ，密碼：z4lr

其中有篇文檔介紹如何用初等數學解讀邏輯迴歸的，講的比較容易懂

核心思想：

• 幾何變換的視角：高維空間映射到一維空間 → 一維空間映射到[0,1]區間       → [0,1]區間映射到具體的值，求最優化解

• 特徵處理的視角：特徵運算函數求特徵單值z → sigmoid函數求機率 → 代價函數求代價評估值，求最優化解

首先要說明的是，在邏輯迴歸的問題中，這兩個視角是並行的，而不是包含關係。它們是同一個數學過程的兩個方面。 

• 好比，咱們後來處理複雜的非線性可分問題的時候，看似只用的是特徵處理的思路。其實，對於複雜的非線性分離邊界，也能夠映射到高維空間進行線性可分的處理。在SVM中，有時候某些核函數所作的映射與之很是相似。這將在咱們接下來的SVM系列文章中有更加詳細的說明。
  

在具體的分析過程當中，運用哪一種視角均可以，各有優勢。 

• 好比，做者我的比較傾向幾何變換的視角來理解，這方便記憶整個邏輯迴歸的核心過程，畫幾張圖就夠了。相應的信息都濃縮在圖像裏面，異常清晰。

• 於此同時，特徵處理的視角方便你思考你手上掌握的特徵是什麼，怎麼處理這些特徵。這其實的數據挖掘的核心視角。由於隨着理論知識和工做經驗的積累，越到後面越會發現，當咱們已經拿到無誤差、傾向性的數據集，而且作過數據清洗以後，特徵處理的過程是整個數據挖掘的核心過程：怎麼收集這些特徵，怎麼識別這些特徵，挑選哪些特徵，捨去哪些特徵，如何評估不一樣的特徵……這些過程都是對你算法結果有決定性影響的極其精妙的精妙部分。這是一個龐大的特徵工程，裏面的內容很是龐大，咱們將在後續的系列文章中專門討論。

總的來講，幾何變換視角更加直觀具體，特徵處理視角更加抽象宏觀，在實際分析過程當中，掌握着兩種視角的內在關係和轉換規律，綜合分析，將使得你對整個數據挖掘過程有更加豐富和深入的認識。

爲了將這兩種視角更集中地加以對比，請看下面的圖表，方便讀者查閱。