神經網絡原理簡介

1，類比生物神經元 2，層次結構 輸入層，隱藏層（1,2），輸出層；線可以理解爲權重參數w。在神經網絡中需要指定w的大小（矩陣的大小） 神經網絡的流程：輸入數據；前向傳播計算損失值；反向傳播計算梯度；使用梯度更新參數 3，非線性結構（激活函數） 激活函數作用於前一層權重參數後： 4，激活函數 4.1 Sigmoid激活函數 反向傳播中的求導操作： 當x的絕對值較大時，則導數接近爲0，則在鏈式法則中

>>阅读原文<<