激活函數和損失函數

深度學習中常用的激活函數和損失函數 對於激活函數跟損失函數做一下記錄，後面再看時也方便，可能有些圖片搬運的各位大佬的，還請見諒。 激活函數 激活函數有很多，主要記錄常用的和比較經典的一些，例如sigmoid、tanh、RELU及其變種。 首先說一下激活函數的作用，一般激活函數作用於神經網絡中卷積層的後面，用來引入非線性因素，通過激活函數這種非線性函數來加強神經網絡的擬合能力（不再單純是線性函數了）

>>阅读原文<<