NIN-maxout-STN-STRIVING FOR SIMPLICITY-STACKED WHAT-WHERE AUTO-ENCODERS學習所得

network in network 這篇論文主要闡述了一個重要思想是用微型網絡代替卷積層，用多層感知器來實例化微型網絡，mlpconv層實現3個卷積層，第一個還是原來的卷積層，後2個是11卷積核的卷積層，每個卷積層後面都要加上激活層，（做法不是很高大上，理論很高大上，5篇論文看了都有這個額感受）。爲什麼要這麼做，作者認爲傳統的卷積層是廣義上的線性模型（GLM），當數據樣本的隱含屬性是線性可分的時

>>阅读原文<<