分類問題爲什麼要用交叉熵

1. 信息熵 信息熵就是信息的不確定程度，信息熵越小，信息越確定 信 息 熵 = ∑ 事 件 x 發 生 的 概 率 ∗ 驗 證 事 件 x 需 要 的 信 息 量 信息熵=\sum 事件x發生的概率*驗證事件x需要的信息量 信息熵=∑事件x發生的概率∗驗證事件x需要的信息量 事件發生的概率越低，需要越多的信息去驗證，所以驗證真假需要的信息量和事件發生的概率成反比，假設信息量爲 I ( x ) I

>>阅读原文<<