深度學習tricks

1 先把預訓練模型的特徵層抽出來當作一個net，然後讓所有的數據過一遍這個net，算是預訓練完了。因爲不需要計算梯度，可以將bitch_size開到很大，同樣只過一遍，速度也很快。 然後把過一遍的數據保存的本地，然後新建一個全鏈接層的小net，然後加載保存的數據進行訓練，同樣，因爲網絡小，bitch_size也可以開到很大，而且速度飛快 2 使用更好的顯卡跑訓練，節省生命 訓練的時候觀察 loss

>>阅读原文<<