cs224n-第4課 window classification, Nerual network

1. 交叉熵損失（Cross-Entroy loss) 信息論中的概念，衡量兩個概率分佈間的差異性信息。我們假設真實概率爲p，程序模型計算的概率爲q，類別總數爲C，那麼交叉熵爲： H ( p , q ) = − ∑ c = 1 C p ( c ) log ⁡ q ( c ) H(p,q)=-\sum_{c=1}^{C}p(c)\log q(c) H(p,q)=−c=1∑C​p(c)logq(c)

>>阅读原文<<