CMA-ES 算法

CMA-ES 算法

 

1、算法介紹

CMA-ES是Covariance Matrix Adaptation Evolutionary Strategies的縮寫，中文名稱是協方差矩陣自適應進化策略，主要用於解決連續優化問題，尤爲在病態條件下的連續優化問題。進化策略算法主要做爲求解參數優化問題的方法，模仿生物進化原理，假設不論基因發生何種變化，產生的結果（性狀）總遵循這零均值，某一方差的高斯分佈。注意這裏進化策略和遺傳算法不一樣，可是都是進化算法（EAs）的重要變種。

 

2、算法實現

3、主要特色

1. 使用多變量的正態分佈產生新的搜索點

-遵循最大熵原理 
x⃗ i∼m⃗ +σN(0,C) for i = 1, 2, …, λ

2. 基於排序的選擇過程

-暗含了不變性， 對於g(f(x))來講具備相同的性能，g是增函數

3. 步長控制使得快速收斂更加便捷

-基於進化路徑

4. 協方差矩陣自適應算法增長了成功步長的似然性，能夠根據問題規模的數量級改善性能。

-C∝H−1⟺調整變量的類型，由海森矩陣等價成更爲簡單的協方差矩陣 
-⟺產生一種新的問題表示方法 
-⇒f(x)=g(xTHx)問題簡化爲g(xTx)