CReLU激活函數

一種改進ReLU激活函數的文章，來自ICML2016. 文章鏈接： 《Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units》 1. 背景介紹 整個文章的出發點來自於下圖的統計現象： 爲了看懂上圖。 （1）首先介紹一下餘弦相似度(cos距離)的概念 cos距離

>>阅读原文<<