神經網絡基礎學習系列（五）——準備數據

輸入網絡 下圖是S函數的圖像，從圖像中咱們能夠直觀的看到若是輸入變大，激活函數就會變得很是平坦。函數   若是咱們使用梯度學習新的權重，那麼這樣的一個平坦的激活函數會出現問題。由於權重的改變取決於激活函數的梯度，小梯度意味着限制神經網絡學習能力。也是所謂的飽和神經網絡。換句話說，應該保持儘可能小的輸入給激活函數。學習 同時，梯度學習新的權重的表達式也取決於輸入信號,因此也不能讓輸入信號過小。由於計

>>阅读原文<<