基於貝葉斯優化的超參數tuning

https://arimo.com/data-science/2016/bayesian-optimization-hyperparameter-tuning/

 

貝葉斯優化：使用高斯過程做爲代理函數，而且一般優化提高幅度的指望Expected Improvement(新試驗相對當前最好觀測的提高的指望）。高斯過程是一組函數的分佈。高斯過程當中的一個樣本包括一組函數。訓練高斯過程會擬合訓練數據的分佈，所以能產生和觀測數據相近的函數。使用高斯過程，咱們能夠計算搜索空間中任意點的指望提高。而後將指望提高最高的點應用於下一組實驗。貝葉斯優化一般能給出非平凡的、不位於grid邊界的連續超參數的估計（好比學習率，正則係數等），而且已經驗證在某些benchmark上可以超過人類選出的參數。貝葉斯優化的一個有名的實現是Spearmint.