神經網絡激活函數ACT層

本文收集激活層常用函數，隨時補加 ReLU   tensorflow中：tf.nn.relu(features, name=None) LReLU (Leaky-ReLU)    其中aiai是固定的。ii表示不同的通道對應不同的aiai.  tensorflow中：tf.nn.leaky_relu(features, alpha=0.2, name=None) PReLU   其中aiai是可以

>>阅读原文<<