【深度學習的數學】初始權重和偏置參數對模型訓練非常重要!(預訓練模型、預訓練文件、初始權重)

在進行 【深度學習的數學】接「2×3×1層帶sigmoid激活函數的神經網絡感知機對三角形平面的分類訓練預測」,輸出層加偏置b 的測試中,我們發現,模型的初始權重對模型的訓練結果是影響非常大的, 如圖對比了兩種不同的模型訓練結果,權重和偏置初始參數均採用正態分佈隨機值 情況1 情況2 情況3 可以看到,情況1最接近我們預期的結果,情況2和情況3就比較奇怪,所以,選擇一個好的初始權重和偏置是非常重要
相關文章
相關標籤/搜索