【深度學習】權重初始化

爲什麼要初始化？暴力初始化效果如何？ 神經網絡，或者深度學習算法的參數初始化是一個很重要的方面，傳統的初始化方法從高斯分佈中隨機初始化參數。甚至直接全初始化爲1或者0。這樣的方法暴力直接，但是往往效果一般。本篇文章的敘述來源於一個國外的討論帖子[1]，下面就自己的理解闡述一下。 首先我們來思考一下，爲什麼在神經網絡算法（爲了簡化問題，我們以最基本的DNN來思考）中，參數的選擇很重要呢？以sigmo

>>阅读原文<<