Softmax， stable softmax, softmax loss， cross entropy loss

1.softmax 公式： python： def softmax(X):     exps = np.exp(X)      return exps / np.sum(exps) 對於softmax理解，就是一種平滑的歸一化。假如我們使用線性的歸一化，就很均勻，softmax相當於給比較大的數值大的權重，比如python裏面： plt.plot(range(1, 20), np.exp(ra

>>阅读原文<<