MXNET--中文版學習 softmax手動實現 課後練習
- 本節中,咱們直接按照 softmax 運算的數學定義來實現 softmax 函數。這可能會形成什麼問題? 答:參考知乎一位的回答,https://zhuanlan.zhihu.com/p/27223959. 當exp()中的數過大,會致使計算溢出。因此能夠給exp(x)中的數加一個常數F,F = -max(a1,a2,...an),保證指數函數的定義域在0附近。
- 本節中的cross_entropy函數是按照交叉熵損失函數的數學定義實現的。這樣的實現方式可能有什麼問題?(提示:思考一下對數函數的定義域。) 答:對數函數的定義域是(0.+&),當無限接近於0 .可能致使結果過大爲nan.
歡迎關注本站公眾號,獲取更多信息