CNN淺顯的基礎知識

1. "檢測","識別"和"分類"容易混淆用錯

   • 檢測:指物體在哪裏(bounding box),是什麼物體.解決的是where,what
   • 分類: 是什麼物體(區別於檢測,分類是已知有bounding box),以及給出機率:image/Video classification;Segmentation(instance segmentation,sementic segmentation,像素級別的分類.)
   • 識別:是誰. 區別於分類.好比人臉識別,不可能把不一樣的人都分別當成一種種類進行分類.識別和分類的區別在於處理方式的不一樣,識別是使用特徵向量進行處理的.

2. model: 本質就是一大堆非線性函數的參數(paramers).

3. train: 就是找到這些paramers的過程

4. 損失函數:

   • 訓練過程梯度爆炸--loss 短期內迅速上升.
   • loss 降低很是慢,震盪向下,最終也會收斂,第一反應是learning rate 設置小了點.
   • 訓練最終可能只是獲得局部最優解,全局最優解很難達到.

5. 爲何神經網絡(neural network) 須要激活函數(activation function)?

   • 無論是sigmod(用於二分類),relu(cnn),softmax(多分類),都是爲了模型能起到擬合非線性關係的函數.若是沒有激活函數,神經網絡也只是能擬合線性關係的函數(hypotheses),能擬合的狀況很是少.

6. 向後傳播(back propagation): -是指網絡最終的loss function 的向後傳遞

   • 目的是減小計算量,每一層網絡都去單獨去計算損失函數,計算量很是大.
   • 實現方式爲chain Rule,但這種傳播方式也會很容易致使梯度爆炸,由於是不少個多項式相乘.

7. 正則化(regularization):

   • 目的:神經網絡擬合能力太強,很容易出現過擬合(train loss 很是低,其它數據的loss 高)的狀況,正則化就是用來防止過擬合的.
   • 如何實現:損失函數的計算中加入懲罰項,這樣最終求導更新的參數權值變小,那麼hypotheses曲線會區域平滑,讓過擬合狀況減小.
   • 有L1,L2 regularization. L1有特徵選擇的做用,由於獲得的權值容易爲0.