[深度思考]·證明softmax不受輸入的數據偏移影響

[深度思考]·證明softmax不受輸入的數據偏移影響   證明softmax不受輸入的常數偏移影響，即softmax(x)=softmax(x+c) 也就是證明加了偏移c之後，對整個softmax層的作用不起影響。如下：   這有什麼用處？   可以有效防止數據溢出   如何應用？   對任意a都成立，這意味着我們可以自由地調節指數函數的指數部分，一個典型的做法是取 中的最大值：a=max{x1

>>阅读原文<<