如何尋找超參數的最優值

問題引入

在使用機器學習算法時，總有一些難調的超參數。例如權重衰減大小，高斯核寬度等等。這些參數須要人爲設置，設置的值對結果產生較大影響

問題解答

常見設置超參數的方法有：

1. 猜想和檢查：根據經驗或直覺，選擇參數，一直迭代。

2. 網格搜索：讓計算機嘗試在必定範圍內均勻分佈的一組值。

3. 隨機搜索：讓計算機隨機挑選一組值。

4. 貝葉斯優化：使用貝葉斯優化超參數，會遇到貝葉斯優化算法自己就須要不少的參數的困難。

5. MITIE方法，好初始猜想的前提下進行局部優化。它使用BOBYQA算法，並有一個精心選擇的起始點。因爲BOBYQA只尋找最近的局部最優解，因此這個方法是否成功很大程度上取決因而否有一個好的起點。在MITIE的狀況下，咱們知道一個好的起點，但這不是一個廣泛的解決方案，由於一般你不會知道好的起點在哪裏。從好的方面來講，這種方法很是適合尋找局部最優解。稍後我會再討論這一點。

6. 最新提出的LIPO的全局優化方法。這個方法沒有參數，並且經驗證比隨機搜索方法好。

參考

[1]https://blog.csdn.net/weixin_41819299/article/details/80945851

喜歡就關注一下啦~~~