吳恩達《深度學習-神經網絡和深度學習》1--深度學習概論

2.爲什麼神經網絡這幾年突然火起來了？ 大數據的驅動，其他算法在數據達到一定規模之後，其表現會比較固定，但神經網絡卻是爲大數據而生，數據量越大其表現效果越好 3.爲什麼神經網絡不用simoid函數而用ReLu(rectified linear unit)修正線性單元 因爲sigmod函數在取值接近於1的時候，函數斜率會趨近於0，導致收斂會很慢（梯度接近於0）

>>阅读原文<<