《深度學習》學習筆記三——數值計算

目錄 目錄 上溢和下溢 基於梯度的優化方法 導數 偏導數 約束優化 參考資料 上溢和下溢 下溢(underflow)是一種極具毀滅性的舍入誤差.當接近零的數被四捨五入爲零時發生下溢 上溢(overflow)是一種極具破壞力的數值錯誤形式.當大量級的數被近似爲 ∞ ∞ 或者 −∞ − ∞ 時發生上溢,進一步的運算通常會導致這些無限值變成非數字. softmax 函數(softmax function

>>阅读原文<<