梯度降低法的注意點

一、SGD對訓練集的輸入順序敏感。

以前沒注意這個問題，訓練集前一部分全是label=1的，後面部分全是label=0，致使分類結果所有一邊倒。一直沒找到問題，覺得是數據或者模型出錯了，後來偶然畫損失函數圖的時候，發現loss在中間部分會突增，才意識到跟訓練集輸入有關。

之因此模型敏感致使分類結果一邊倒，這就好像訓練one-class模型同樣；梯度先沿着某個軸降低，而後等到輸入爲label=0的時候，梯度又沿着某個軸降低，致使陷入局部最優解。

雖然以前一直有輸出loss，可是都沒仔細看，很難發現，仍是圖看的直觀、簡潔。