第三週--淺層神經網絡（測驗）

您已經爲所有隱藏單元使用tanh激活建立了一個網絡。 使用np.random.randn（…，…）* 1000將權重初始化爲相對較大的值。 會發生什麼？ 【 】這沒關係。只要隨機初始化權重，梯度下降不受權重大小的影響。 【 】這將導致tanh的輸入也非常大，因此導致梯度也變大。因此，您必須將α設置得非常小以防止發散; 這會減慢學習速度。 【 】這會導致tanh的輸入也非常大，導致單位被「高度激活」

>>阅读原文<<