信息熵、交叉熵、相對熵

主要在此文基礎上精簡，按自己理解表達下【直觀詳解】信息熵、交叉熵和相對熵 熵，熱力學中表徵物質狀態的參量之一，用符號S表示，其物理意義是體系混亂程度的度量。 信息熵，描述信源的不確定度。 信息熵越大，越無序，越隨機，信息量(的期望)越大，要消除不確定性所需信息量越大。 考慮把信息量存儲下來需要多大空間/存儲代價 (用存儲空間表示信息熵(不確定性越高所需存儲空間越大)) 舉例：表示天氣情況的 P=[

>>阅读原文<<