從 one-hot 到 softmax，再到交叉熵，技術一脈相承

1. one-hot 編碼的來源 神經網絡實際上可以看作傳統邏輯電路的推廣。邏輯電路里面的信號只有0，1兩個結果，而神經網絡裏面的信號，利用 sigmoid 函數強制變換到 (0,1) 區間。 神經網絡的二分類模型，第一層的每個神經元，都可以生成一個空間線性分割的判別式，經過 sigmoid 函數激活，變換到 (0,1) 區間。因此，第一層輸出的 n 個節點，表示輸入向量分別落入 n 個分割平面的

>>阅读原文<<