cs231n_激活函數

首先講述的是激活函數的內容。 在上一個lecture中，我們看到了任意特定層是如何生成輸出的，輸入數據在全連接層或者卷積層，將輸入乘以權重值，之後將結果放入一個激活函數（非線性單元）。 下面是一些激活函數的例子，有在之前使用過的sigmoid函數，之前提及到的ReLU函數。這裏會提及更多的激活函數，並在它們之間進行權衡。 先是之前見過的sigmoid函數，這個函數的表達式是 。每一個元素輸入到si

>>阅读原文<<