神經網絡中的RuntimeWarning: divide by zero encountered in log問題

在編程實現神經網絡的時候，在將學習率α設置的比較大或者將w用numpy.random.randn()初始化的時候，會遇到RuntimeWarning: divide by zero encountered in log警告。是由於sigmoid函數進行exp(-z)運算時，由於輸入得z值太大（正值）或過小（負值），產生了內存溢出，最終獲得的結果是nan。因此在cost函數中的log計算引起此警告。

>>阅读原文<<