離散優化代替反向傳播:Pedro Domingos提出深度學習新方向

在改革深度學習、拋棄反向傳播的道路上我們不僅看到了 Geoffrey Hinton 的努力。近日,《終極算法》一書作者,華盛頓大學計算機科學教授 Pedro Domingos 也提出了自己的方法——離散優化。 神經分類的原始方法是學習單層模型,比如感知機(Rosenblatt, 1958)。但是,將這些方法擴展至多層比較困難,因爲硬閾值單元(hard-threshold unit)無法通過梯度下降
相關文章
相關標籤/搜索