北京大學Tensorflow2.0筆記

激活函數 目前很少用這個激活函數,因爲在深度神經網絡中更新參數時需要從輸出層到輸入層逐層進行鏈式求導,而sigmoid函數倒數值爲0-0.25之間,鏈式求導需要多層導數連續相乘,會出現多個0-0.25之間的連續相乘,結果趨於零,產生梯度消失,無法進行參數更新 使用中應避免負數特徵進入RELU函數,否則會導致神經元死亡 過擬合的解決方法:L1正則化和L2正則化
相關文章
相關標籤/搜索