激活函數（ReLu LReLU PReLU CReLU ELU SELU）

ReLU   tensorflow中：tf.nn.relu(features, name=None) LReLU (Leaky-ReLU)    其中aiai是固定的。ii表示不同的通道對應不同的aiai.  tensorflow中：tf.nn.leaky_relu(features, alpha=0.2, name=None) PReLU   其中aiai是可以學習的的。如果ai=0ai=0，那

>>阅读原文<<