fine turing是啥以及它的三種狀態？

問題引入

深度學習中的調參但是一門很深的學問，那麼什麼是fine turning以及它的三種狀態是什麼呢？

問題解答

用別人的參數、修改後的網絡和本身的數據進行訓練，使得參數適應本身的數據，這樣一個過程，一般稱之爲微調（fine tuning).

模型的微調舉例說明：

咱們知道，CNN 在圖像識別這一領域取得了巨大的進步。若是想將 CNN 應用到咱們本身的數據集上，這時一般就會面臨一個問題：一般咱們的 dataset 都不會特別大，通常不會超過 1 萬張，甚至更少，每一類圖片只有幾十或者十幾張。這時候，直接應用這些數據訓練一個網絡的想法就不可行了，由於深度學習成功的一個關鍵性因素就是大量帶標籤數據組成的訓練集。若是隻利用手頭上這點數據，即便咱們利用很是好的網絡結構，也達不到很高的 performance。這時候，fine-tuning 的思想就能夠很好解決咱們的問題：咱們經過對 ImageNet 上訓練出來的模型（如CaffeNet,VGGNet,ResNet) 進行微調，而後應用到咱們本身的數據集上。

三種狀態分別是：

1. 狀態一：只預測，不訓練。特色：相對快、簡單，針對那些已經訓練好，如今要實際對未知數據進行標註的項目，很是高效；

2. 狀態二：訓練，但只訓練最後分類層。特色：fine-tuning的模型最終的分類以及符合要求，如今只是在他們的基礎上進行類別降維。

3. 狀態三：徹底訓練，分類層+以前卷積層都訓練 特色：跟狀態二的差別很小，固然狀態三比較耗時和須要訓練GPU資源，不過很是適合fine-tuning到本身想要的模型裏面，預測精度相比狀態二也提升很多。

參考

[1]https://blog.csdn.net/sinat_36831051/article/details/84988174

喜歡就關注一下啦~~~