深度學習基礎之-1.3梯度下降

從自然現象中理解梯度下降 在絕大多數文章中，都以「一個人被困在山上，需要迅速下到谷底」來舉例，這個人會「尋找當前所處位置最陡峭的地方向下走」。這個例子中忽略了安全因素，這個人不可能沿着最陡峭的方向走，要考慮坡度。 在自然界中，梯度下降的最好例子，就是泉水下山的過程： 水受重力影響，會在當前位置，沿着最陡峭的方向流動，有時會形成瀑布（梯度下降） 水流下山的路徑不是唯一的，在同一個地點，有可能有多個位

>>阅读原文<<