深度學習中的不可導操作(次梯度和重參數化)

深度學習中的絕大多數模型都是靠求導梯度下降來進行參數更新. 但是如果遇到不可求導的操作該怎麼辦? 這時候如何優化我們的模型呢. 本文盤點了深度學習中的不可導操作(次梯度和重參數化). 主要包括兩大類 [TOC] image-20200116220613949 次梯度 深度學習算法通常需要反向傳播來進行優化,這就涉及到求導的問題. 激活函數需要滿足單調,處處可導,有界等條件. 如傳統的sigmoid

>>阅读原文<<