激活函數（Activation Functions）

神經網絡結構的輸出爲所有輸入的加權和，這導致整個神經網絡是一個線性模型。如果將每一個神經元的輸出通過一個非線性函數，那麼整個神經網絡的模型也就不再是線性的了，使得神經網絡可以更好地解決較爲複雜的問題。這個非線性函數也就是激活函數。 目前TensorFlow提供了7種不同的非線性激活函數，tf.nn.relu、tf.sigmoid、tf.tanh 是其中比較常用的幾個。當然，TensorFlow也支

>>阅读原文<<