深度學習關於數值計算的學習筆記

1、上溢和下溢 由於計算機是用有限數量的位模式表現無限多可能的實數，所以計算機表示實數會帶有一定的誤差(特別是浮點數的運算)。因此多次計算中不斷地產生的誤差累加起來可能會導致算法的失效 （1） 下溢：由於數值精度不夠導致接近零的數被四捨五入或截斷爲零（在某些算法中會直接導致算法失效，例如除數上有0，或者對數取0等，使得算數運算變爲非數字。） （2）上溢：由於某種數據類型的數值精度不夠，在記錄一些超

>>阅读原文<<