KL距離，Kullback-Leibler Divergence

  KL距離，是Kullback-Leibler差別（Kullback-Leibler Divergence）的簡稱，也叫作相對熵（Relative Entropy）。它衡量的是相同事件空間裏的兩個機率分佈的差別狀況。其物理意義是：在相同事件空間裏，機率分佈P(x)的事件空間，若用機率分佈Q（x）編碼時，平均每一個基本事件（符號）編碼長度增長了多少比特。咱們用D（P||Q）表示KL距離，計算公式以

>>阅读原文<<