神經網絡-損失函數是不是凸的

損失函數是不是凸的？ 不是 全局最優不一定是好的解，局部最優不一定是差的解 NN中設計得激活函數是爲了引入非線性變換，凸不凸都可以 NN不凸，是多個隱藏層導致的，即使每一層激活函數都是凸的，目標函數依舊是非凸問題。 激活函數設計爲凸就可以得到凸的優化目標，然而NN不凸，是多個隱藏層導致的，即使每一層激活函數都是凸的，目標函數依舊是非凸問題，舉例說明 舉例說明：假設一個NN的最後一層爲least s

>>阅读原文<<