熵、交叉熵、交叉熵方法

信息量 熵 相對熵 交叉熵 衡量label和predict的差別web 看此篇的內容算法 CEM 交叉熵方法： 交叉熵方法是一種蒙特卡洛方法，主要用來優化和重要性採樣。和進化算法相似，在空間中按照某種規則撒點，得到每一個點的偏差，再根據這些偏差信息決定下一輪撒點的規則。交叉熵方法之因此叫這個名字，是由於該方法（從理論上來講）目標是最小化隨機撒點獲得的數據分佈與數據實際分佈的交叉熵（等價於最小化 K

>>阅读原文<<