神經網絡優化方法 來自北京大學 人工智能實踐視頻

1.代價函數   代價函數，又叫損失函數或成本函數，它是將一個或多個變量的事件閾值映射到直觀地表示與該事件。   a .  二次代價函數               w,b 梯度 與激活函數梯度成正比   b . 對數釋然代價函數   c . 交叉熵代價函數    對數釋然函數+softmax    交叉熵 +sigmoid 2.激活函數   3.學習率： 4.滑動平均：    滑動平均（影子值）

>>阅读原文<<