吳恩達機器學習筆記-分類問題陳述

以前的文章中咱們討論過關於線性迴歸的問題，如今咱們來學習一下，當預測的變量y爲離散值時候的分類問題。

分類

下面給出幾個分類的例子：

• 郵件： 垃圾郵件、非垃圾郵件；
• 在線交易： 欺詐、非欺詐；
• 腫瘤： 良性（不是惡性）、惡性

很顯然這幾個例子的結果只有兩個，是或者不是。那麼咱們能夠假設結果yin{0,1}。這裏的0咱們能夠當作非xx的類型，好比良性腫瘤，而1則能夠當作是確認的分類，好比是惡性腫瘤。固然常常咱們遇到的分類問題可能不止是或否兩種結果，可能$y\in{0,1,2,3}$。

接下來咱們來用腫瘤是否惡性的例子來看看分類問題，好比下圖：

圖中的叉號就是咱們的數據樣本，橫軸爲腫瘤大小，縱軸爲是否爲惡性腫瘤。若是用咱們以前學習的線性迴歸方程，則能夠假設$h_\theta(x) = \theta^Tx$。能夠得出圖中的傾斜的斜率高一點的那一條直線。爲了更好的作出預測，咱們能夠設定當$h_\theta(x)>=0.5$時，認爲$y=1$,當$h_\theta(x)<0.5$時，認爲$y=0$,如此看來，假設咱們在x軸正方向遠處還有一點如圖中所示，咱們的假設函數也是知足實際狀況。但若是咱們的假設函數設置的如圖中斜率偏低的那一條呢。很顯然和數據集中的數據發生了偏差。因此線性迴歸在分類問題中並非最適合的方法，並且若是使用線性迴歸，咱們得出的$h_\theta(x)$是能夠大於1或者小於0。而接下來要討論的logistic分類算法的值域大小是在[0,1]之間的。

假設函數

在線性迴歸中，咱們的假設函數公式是$h_\theta(x) = \theta^Tx$，那麼在分類問題中，咱們定義$h_\theta(x) = g(\theta^Tx)$,這裏的函數g的定義爲$g(z)=\frac{1}{1-e^{-z}}$,$z=\theta^Tx$,則

$$ h_\theta(x) = \frac{1}{1-e^{-\theta^Tx}} $$

這個函數被稱做S型函數（Sigmoid function）或邏輯函數（Logistic function）。函數的圖像以下圖所示：

橫軸爲z，縱軸爲$g(z)$。顯然當z趨向於正無窮時，$g(z)$趨向於1，z趨向於負無窮時，$g(z)$趨向於0。圖像在（0，0.5）點於縱軸相交。咱們如今要作的依然是選擇合適的參數$\theta$來擬合數據。
這裏咱們將$h_\theta(x)$的輸出假設爲當輸入爲x時，y=1時的機率。從機率上的角度來描述能夠表達爲$h_\theta(x) = P(y=1|x;\theta)$。所以咱們能夠獲得以下公式：

$$ P(y=1|x;\theta) + P(y=0|x;\theta) = 1 \\ P(y=1|x;\theta) = 1 - P(y=0|x;\theta) $$

決策邊界(decision boundary)

上述咱們說過，能夠假設當$h_\theta(x)>=0.5$時，認爲$y=1$,當$h_\theta(x)<0.5$時，認爲$y=0$。根據邏輯函數的圖像，咱們得知，當z>0時，$h_\theta(x)>=0.5$，則$\theta^Tx>=0$,一樣的$h_\theta(x)<0.5$時$\theta^Tx<0$。
這裏能夠舉一個例子，假設$h_\theta(x) = g(\theta_0+\theta_1x_1+\theta_2x_2)$中的$\theta_0,\theta_1，\theta_2$分別等於-3，1,1。則$\theta = \begin{bmatrix} -3\\ 1 \\ 1 \end{bmatrix}$,那麼y=1時，即表明$h_\theta(x) = g(\theta_0+\theta_1x_1+\theta_2x_2) >= 0.5$,即$\theta^Tx = -3+x_1+x_2>=0$,相反y=0時，$\theta^Tx = -3+x_1+x_2<0$,那麼咱們能夠得出這兩個不等式的分界線即$x_1+x_2=3$。

在這條直線的上方表明y=1的部分，下方則表明y=0的部分，而這條直線就被稱做決策邊界。
下面再繼續看一個複雜點的例子，這裏額外添加兩個特徵$x_1^2，x_2^2$。$h_\theta(x) = g(\theta_0+\theta_1x_1+\theta_2x_2\theta_3x_1^2+\theta_4x_2^2)$。假定$\theta = \begin{bmatrix} -1\\ 0 \\ 0 \\ 1 \\ 1 \end{bmatrix}$,則可得出若$-1+x_1^2+x_2^2>=0$,則y=1,若$-1+x_1^2+x_2^2<0$,則y=0,那麼顯然，這裏的決策邊界的圖像是$x_1^2+x_2^2 = 1$。

固然隨着假設函數的複雜程度變化，決策邊界也會各有不一樣。後面咱們將會學習如何自動選擇參數$\theta$,使咱們能在給定一個訓練集時，根據數據自動擬合參數。

以上，爲吳恩達機器學習第三週分類和邏輯迴歸模型部分筆記。