Sigmoid，Softmax，Softmax loss，交叉熵(Cross entropy)，相對熵(relative entropy，KL散度)梳理

這些概念有點混，藉此梳理記錄一下。 sigmoid sigmoid函數是常用的二分類函數，函數形式爲： 曲線形式如下： Sigmoid 是一個可微的有界函數，在各點均有非負的導數。當 x→∞ 時，S(x)→1；當 x→−∞ 時，S(x)→0。常用於二元分類（Binary Classification）問題，以及神經網絡的激活函數（Activation Function）（把線性的輸入轉換爲非線性的

>>阅读原文<<