CNN筆記(CS231N)——訓練神經網絡I(Training Neural Networks, Part I)

訓練神經網絡 我們先來看這部分內容的綜述,主要介紹了在訓練網絡中的一些基本方法與基本概念 激勵函數(Activation Functions) 首先我們來看看神經網絡用的激勵函數之間的對比 Sigmoid函數主要有一下三個問題,第一是函數存在飽和區,這部分函數梯度基本爲0,導致權重不會變化;第二是函數輸出不是以0爲中心;第三是指數函數計算量比較大 對於第二點我們重點說說,假如輸出不是以0位中心那會
相關文章
相關標籤/搜索