李宏毅：Activation Function
1、relu （1）relu （2）relu的變形 （3）selu 下圖中的iid表示獨立同分布，輸入a1...ak的mean是0，variance是 1，Selu希望得到輸出的mean也是0，variance也是1。我們假設w1...wk的mean也等於0。 我們假設weight的variance也是1。 SNN就是用selu （3）swish
相關文章
- 1. 李宏毅__ML_Notes_5.11
- 2. 李宏毅__ML_Notes_4.21
- 3. 【李宏毅】CNN
- 4. 【李宏毅】RNN
- 5. 李宏毅——GAN
- 6. 李宏毅——transformer
- 7. transformer---李宏毅
- 8. 李宏毅：Batch Normalization
- 9. 9.GAN(李宏毅)
- 10. 李宏毅：Pointer Network
- 更多相關文章...
- • SQL MIN() Function - SQL 教程
- • XSLT function-available() 函數 - XSLT 教程
- • Java 8 Stream 教程
- • Docker容器實戰(一) - 封神Server端技術
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. 李宏毅__ML_Notes_5.11
- 2. 李宏毅__ML_Notes_4.21
- 3. 【李宏毅】CNN
- 4. 【李宏毅】RNN
- 5. 李宏毅——GAN
- 6. 李宏毅——transformer
- 7. transformer---李宏毅
- 8. 李宏毅：Batch Normalization
- 9. 9.GAN(李宏毅)
- 10. 李宏毅：Pointer Network