花書第四章 數值計算

花書第四章筆記 數值計算 數值上溢和下溢 產生原因： 由於計算機的精度造成，超過浮點數的精度的部分數值就會被捨去。但是在我們正常退導中是不存在的。當操作數值極小或者極大的情況下可能引起上溢或者下溢。 深度學習底層框架需要考慮的數值穩定性。 下溢： 接近零的數被四捨五入爲0時候發生下溢。 運算通常會導致這些無限值變爲非數字 上溢：當大量級的數被近似爲 ∞ \infty ∞ 或 − ∞ -\infty

>>阅读原文<<