[一塊兒面試AI]NO.11 熵、聯合熵、條件熵、KL散度、互信息定義

熵在物理中是用於衡量一個熱力學系統的無序程度，表達式爲△S=Q/T，其中Q是吸取或者釋放的熱量，T是溫度。

計算機領域將其定義爲離散隨機事件出現的機率。一個系統越是有序信息熵就會越低；反之，系統越是混亂，信息熵就越高。

「聯合熵」 兩個隨機變量X，Y的聯合分佈可求得聯合熵。

「條件熵」 在隨機變量X發生的前提下，隨機變量Y帶來的新的熵，即爲Y的條件熵。

其含義是衡量在已知隨機變量X的條件下隨機變量Y帶來的新的熵即爲Y的條件熵。

「KL散度」 兩個機率分佈（probability distribution）間差別的非對稱性度量。

「互信息」 兩個隨機變量X，Y的互信息定義爲X，Y的聯合分佈和各自獨立分佈乘積的KL散度。

微信搜索全都是碼農，點個關注不迷路啦！