深度學習筆記（01）：爲什麼深度學習會興起？

規模促進了深度學習的進步  這些規模包括： （1）數據集規模的擴大 （2）計算機計算能力的增強 （3）算法的改進 還有一個重要的原因：激活函數的變化，從原來的sigmoid函數變爲後來的Relu激活函數。 ReLU：rectified linear unit.對於正值的輸入它的導師都是1，梯度不會趨向於0，也就是訓練過程中，參數W和參數b的變化不會趨向於0。

>>阅读原文<<