二次代價函數、交叉熵代價函數、對數似然代價函數的應用場景

二次代價函數的侷限性 首先來說一下二次代價函數的侷限性，看下面這張圖： 假設現在使用的激活函數是sigmoid，並且代價函數是二次代價函數，我們收斂得目標是1，那麼A點的梯度比較大，B點由於離目標比較近梯度小，所以是合理的；但是如果我們的收斂目標是0，那麼A點離目標比較近，所以梯度應該要小於B點，但是圖中明明是A點的梯度大於B點，這是不合理的。 交叉熵 正式由於二次大家函數的這個侷限性，我們需要引

>>阅读原文<<