有效防止softmax計算時上溢出（overflow）和下溢出（underflow）的方法

《Deep Learning》（Ian Goodfellow & Yoshua Bengio & Aaron Courville）第四章「數值計算」中，談到了上溢出（overflow）和下溢出（underflow）對數值計算的影響，並以softmax函數和log softmax函數爲例進行了講解。這裏我再詳細地把它總結一下。 『1』什麼是下溢出（underflow）和上溢出（overflow） 　

>>阅读原文<<