基於貝葉斯優化的超參數tuning

https://arimo.com/data-science/2016/bayesian-optimization-hyperparameter-tuning/git

 

貝葉斯優化:使用高斯過程做爲代理函數,而且一般優化提高幅度的指望Expected Improvement(新試驗相對當前最好觀測的提高的指望)。高斯過程是一組函數的分佈。高斯過程當中的一個樣本包括一組函數。訓練高斯過程會擬合訓練數據的分佈,所以能產生和觀測數據相近的函數。使用高斯過程,咱們能夠計算搜索空間中任意點的指望提高。而後將指望提高最高的點應用於下一組實驗。貝葉斯優化一般能給出非平凡的、不位於grid邊界的連續超參數的估計(好比學習率,正則係數等),而且已經驗證在某些benchmark上可以超過人類選出的參數。貝葉斯優化的一個有名的實現是Spearmint.github

相關文章
相關標籤/搜索