激活函數(ReLu LReLU PReLU CReLU ELU SELU)

ReLU   tensorflow中:tf.nn.relu(features, name=None) LReLU (Leaky-ReLU)    其中aiai是固定的。ii表示不同的通道對應不同的aiai.  tensorflow中:tf.nn.leaky_relu(features, alpha=0.2, name=None) PReLU   其中aiai是可以學習的的。如果ai=0ai=0,那
相關文章
相關標籤/搜索