Softmax 函數數值穩定性

Softmax 函數數值穩定性 我們在使用計算機數學運算時需要使用有限的比特位來表達實數，這會導致近似誤差的產生。近似誤差可以在多步數值運算中傳遞、積累，從而導致理論上成功的算法失敗。 幾種常見的誤差產生就是上溢出和下溢出。 下面具體看softmax的穩定性： tips：以下大寫表示向量 上式①中是 softmax(X) 函數，根據式子易得：當x趨於負無窮時exp(x)下溢出；x趨於正無窮時，ex

>>阅读原文<<