Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units閱讀筆

摘要 本文旨在深入研究卷積神經網絡的特性，以及一種改進cnn結構性能的通用方法。具體而言，論文檢查現有的cnn模型，並觀察到一個有趣的性質，即低層中的濾波器形成對(即相反相位的濾波器)。在我們的觀察的啓發下，我們提出了一種新的、簡單而有效的激活方案-CReLU，並從理論上分析了它在CNN中的重構性質。我們將Crelu集成到幾個最先進的cnn架構中，並在CIFAR-10/100和ImageNet數據

>>阅读原文<<