深度學習中的激活函數詳細介紹以及優缺點分析

本文首先介紹了什麼是激活函數，然後重點講解了在深度學習中所使用的幾類非線性激活函數：Sigmoid、Tanh、ReLU、LReLU、PReLU、Swish、SoftMax，並詳細介紹了這些函數的優缺點。 1. 激活函數 我們知道生物神經網絡啓發了人工神經網絡的發展。但是，ANN 並非大腦運作的近似表示。所以在我們瞭解爲什麼在人工神經網絡中使用激活函數之前，我們需要先了解一下生物神經網絡與激活函數的

>>阅读原文<<