maxout對參數量的影響

相當於在輸出前面又加了一層，該層有K個神經元，最後只輸出這些神經元中最高的值 即 z1=w1*x+b1 z2=w2*x+b2 z3=w3*x+b3 z4=w4*x+b4 z5=w5*x+b5 out=max(z1,z2,z3,z4,z5) 缺點會直接導致參數量變爲k倍，現在已經很少有用的，基本被relu替代

>>阅读原文<<