chapter-6-訓練神經網絡(上)

激活函數 一、sigmoid sigmoid有一些優秀的性質，比如它的值域爲[0,1]；它的函數性質和神經元有一定的相似性；它的導數簡潔而優雅 。但現在一般不選擇它，因爲它有上圖提及的三個問題。 關於第二個問題，我們考慮w是二維的情況： 可以看出，當輸入神經元的值始終爲正時，導致w的變化只能朝向第一和第三象限，這也不是不可以，但這樣會導致梯度變化速度過慢。 二、tanh tanh相較於sigmoi

>>阅读原文<<