CrossEntropy｜8月更文挑戰

Entropy

\begin{aligned} \text{Entropy} &= \sum_i P(i)\log\frac{1}{P(i)} \\ &= -\sum_i P(i)\log P(i) \end{aligned}

上面的公式是香農熵的定義，但看這個式子可能沒有什麼感受，下面咱們舉個例子html

假設有四我的，每一個人中獎機率是均等的（都是 $\frac{1}{4}$ ），咱們算一下這個分佈的Entropypython

a = torch.full([4], 1/4.) # tensor([0.2500, 0.2500, 0.2500, 0.2500])
print("Entropy:", -(a*torch.log2(a)).sum()) # Entropy: tensor(2.)
複製代碼

熵越高，表明越穩定，越沒有驚喜度git

假設仍是四我的，但中獎機率變爲0.1,0.1,0.1,0.7，此時Entropy變成多少了呢？markdown

a = torch.tensor([0.1, 0.1, 0.1, 0.7])
print("Entropy:", -(a*torch.log2(a)).sum()) # Entropy: tensor(1.3568)
複製代碼

咱們計算獲得這種狀況熵變小了，能夠理解爲，假設在這種機率分佈的狀況下，告訴你中獎了，你的驚喜程度會比同等中獎機率下的驚喜程度要大app

最後，假設中獎機率變爲0.001,0.001,0.001,0.997，此時Entropy變爲多少了呢？函數

a = torch.tensor([0.001, 0.001, 0.001, 0.997])
print("Entropy:", -(a*torch.log2(a)).sum()) # Entropy: tensor(0.0342)
複製代碼

這種狀況的熵更小了，說明在這種機率分佈狀況下，你中獎的驚喜程度特別特別大oop

Cross Entropy

計算一個分佈 $p$ 的Entropy，咱們一般用 $H(p)$ 來表示。計算兩個分佈的Cross Entorpy，咱們一般用 $H(p,q)$ 來表示， $H(p,q)$ 的計算公式爲優化

\begin{aligned} H(p,q)&= -\sum p(x) \log q(x) \\ &= H(p) + D_{KL}(p|q) \end{aligned}

其中 $D_{KL}$ ，即Kullback–Leibler divergence，中文翻譯是相對熵或信息散度，其公式爲ui

D_{KL}(P|Q) = -\sum_i P(i)\ln\frac{Q(i)}{P(i)}

簡單一點理解就是，假如把P和Q做爲函數畫出來，它倆重疊的部分越少， $D_{KL}$ 越大，若是兩個函數圖像幾乎徹底重合， $D_{KL}≈0$ 。若是 $P=Q$ , 則Cross Entropy就等於Entropyspa

對於一個Classification問題，咱們獲得的pred是一個0-1 Encoding，即[0 0...1...0...0]，很明顯，這個pred的Entropy $H(p)=0$ ，由於 $1\log1=0$ ，那麼這個pred和真實的Encoding $q$ 之間的Cross Entropy

\begin{aligned} H(p,q)&= H(p) + D_{KL}(p|q) \\ &= D_{KL}(p|q) \end{aligned}

也就意味着，當咱們去優化 $p$ 和 $q$ 的Cross Entropy的時候，若是是0-1 Encoding，它就至關於直接優化 $p$ 和 $q$ 的KL divergence，而前面也說了， $p$ 和 $q$ 的KL divergence是衡量這兩個分佈的重疊狀況，當KL divergence接近於0時， $p$ 和 $q$ 就愈來愈接近，這剛好就是咱們要優化的目標

下面咱們舉個例子來講明 $H(p,q)$ 就是咱們須要優化的目標，假設如今有一個5分類問題（能夠想象爲五種動物），真實值 $p = [1\ 0\ 0\ 0\ 0]$ ，預測值 $q = [0.4\ 0.3\ 0.05\ 0.05\ 0.2]$ ，則

\begin{aligned} H(p,q)&= -\sum_i p(i)\log q(i) \\ &= -(1\log0.4 + 0\log0.3 + 0\log0.05 + 0\log0.05 + 0\log0.2) \\ &= -\log0.4 \\ &≈ 0.916 \end{aligned}

假設通過一輪參數更新之後，預測值發生了變化 $q = [0.98\ 0.01\ 0\ 0\ 0.01]$ ，則

\begin{aligned} H(p,q)&= -\sum_i p(i)\log q(i) \\ &= -(1\log0.98 + 0\log0.01 + 0\log0 + 0\log0 + 0\log0.01) \\ &= -\log0.4 \\ &≈ 0.02 \end{aligned}

Cross Entropy大概降低了0.8左右，假如使用MSE做爲Loss，大概只會降低0.3~0.4左右，因此咱們感性認識一下，使用Cross Entropy梯度降低的更快

import torch
import torch.nn.functional as F
x = torch.randn(1, 784) # [1, 784]
w = torch.randn(10, 784) # [10, 784]
logits = x@w.t() # [1, 10]
pred = F.softmax(logits, dim=1)
pred_log = torch.log(pred)

''' 注意下面cross_entropy和nll_loss傳入參數的區別 '''
print(F.cross_entropy(logits, torch.tensor([3])))
# cross_entropy()函數已經把softmax和log打包在一塊兒了，因此必須傳一個原生的值logits

print(F.nll_loss(pred_log, torch.tensor([3])))
# null_loss()函數傳入的參數須要通過softmax和log
複製代碼