2.1 神經網絡基礎（一）

二分分類

計算機要保存一張圖片，實際須要保存三個矩陣。分別對應的是紅綠藍三個顏色通道。

在二分分類問題中，目標是訓練出一個分類器。它以圖片中的特徵向量x做爲輸入，預測輸出結果標籤y是1（是一個貓）仍是0（不是一個貓）

最後，爲了方便表示，咱們將x和y都寫成矩陣形式，在python中

x.shape()

這樣的命令就是用來看矩陣的行數和列數。

logistic迴歸

這是一個學習算法，在監督學習中處理二分問題。

如圖所示

對於一個Logistic迴歸而言，一般學習的就是一個

$$ y = w^Tx+b $$

的過程，實際上，對於一維而言。咱們能夠理解成是y=ax+b的過程。然而這個數算出來可能很大，也可能很小。而咱們但願算出來的是一個介於0到1之間的機率，所以咱們要用sigma函數處理一下$\sigma$

logistic迴歸損失函數

爲了訓練logistic函數的w和b須要定義一個成本函數。下面講解一下利用logistic來訓練成本函數。

最後，Loss function是在單個訓練樣本中定義的，它衡量了在單個訓練樣本上的表現。下面定義的成本函數（Cost function），是在整體樣本中的表現。

梯度降低法

這裏介紹一下用梯度降低法來訓練w和b

成本函數衡量了w和b在訓練集上的效果，要學習獲得合適的w和b，天然的就會想到成本函數J儘可能小，由此來肯定w和b。

咱們使用梯度降低的方法，來指望獲得全局最優解。這張三維圖能夠直觀的幫助咱們理解梯度降低法，咱們假設w和b都是一維的。這裏的J(w,b)實際上表示的就是這個像碗同樣圖形的高度。咱們用梯度降低法來找到這個碗底，實際上就是找到這個全局最優解。

咱們進一步直觀的來理解梯度降低法

如圖所示，咱們忽略了b，只是從J和w的角度來考慮，實際上梯度降低的過程就是不斷迭代

$$ w=w-\alpha\frac{dJ(w)}{dw} $$

b也是一樣的道理，若是咱們從三個變量角度出發，所不一樣的是求的是偏導數而不是導數而已。