爲啥神經網絡裏的BP算法花了那麼久才被髮明?

Roseblatt在五十年代就提出了感知機, 又過了將近30年, 多層神經網絡的BP算法才得以普及。 而事實上這不過是微積分中鏈式法則的簡單應用而已, 爲什麼要花這麼久呢？ bengio在quora上這樣回答道： 很多看似顯而易見的想法只有在事後才變得顯而易見。 在控制論中, 很早就開始應用鏈式反則來解決多層非線性系統。 但在80年代早期, 神經網絡的輸出是離散的, 這樣就無法用基於梯度的方法來優

>>阅读原文<<