Tensorflow ActiveFunction激活函數解析

Active Function 激活函數

原創文章,請勿轉載哦~!!

以爲有用的話,歡迎一塊兒討論相互學習~Follow Me

Tensorflow提供了多種激活函數,在CNN中,人們主要是用tf.nn.relu,是由於它雖然會帶來一些信息損失,可是性能較爲突出.開始設計模型時,推薦使用tf.nn.relu,但高級用戶也可建立本身的激活函數.評價某個激活函數是否有用時,須要考慮的因素有:

1)該函數應是單調的, 這樣輸出便會隨着輸入的增加而增加,從而使利用梯度降低法尋找局部極值點成爲可能.

2)該函數應是可微分的,以保證該函數定義域內的任意一點上導數都存在,從而使得梯度降低法可以正常使用來自這類激活函數的輸出.

---

tf.nn.relu

tf.nn.relu(features, name = None)

解釋：這個函數的做用是計算激活函數relu，即max(features, 0)。
全部負數都會歸一化爲0，因此的正值保留爲原值不變

優勢在於不收"梯度消失"的影響,且取值範圍在[0,+oo]

缺點在於使用了較大的學習速率時,易受達到飽和的神經元的影響

使用例子

import tensorflow as tf

a = tf.constant([-1.0, 2.0])
with tf.Session() as sess:
    b = tf.nn.relu(a)
    print(sess.run(b))
    # [0.  2.]

輸入參數：
● features: 一個Tensor。數據類型必須是：float32，float64，int32，int64，uint8，int16，int8。
● name: （可選）爲這個操做取一個名字。

輸出參數：
● 一個Tensor，數據類型和features相同。

---

tf.sigmoid

tf.sigmoid(x, name = None)

解釋：這個函數的做用是計算 x 的 sigmoid 函數。具體計算公式爲 \(y = 1 / (1 + exp(-x))\)
函數的返回值位於區間[0.0 , 1.0]中,當輸入值較大時,tf.sigmoid將返回一個接近於1.0的值,而當輸入值較小時,返回值將接近於0.0.

優勢在於對在真實輸出位於[0.0,1.0]的樣本上訓練的神經網絡,sigmoid函數可將輸出保持在[0.0,1.0]內的能力很是有用.

缺點在於當輸出接近於飽和或者劇烈變化是,對輸出返回的這種縮減會帶來一些不利影響.

當輸入爲0時,sigmoid函數的輸出爲0.5,即sigmoid函數值域的中間點

使用例子

import tensorflow as tf

a = tf.constant([[-1.0, -2.0], [1.0, 2.0], [0.0, 0.0]])
sess = tf.Session()
print(sess.run(tf.sigmoid(a)))

# [[ 0.26894143  0.11920292]
#  [ 0.7310586   0.88079703]
#  [ 0.5         0.5       ]]

輸入參數：
● x: 一個Tensor。數據類型必須是float，double，int32，complex64，int64或者qint32。
● name: （可選）爲這個操做取一個名字。

輸出參數：
● 一個Tensor，若是 x.dtype != qint32 ，那麼返回的數據類型和x相同，不然返回的數據類型是 quint8

---

tf.tanh

tf.tanh(x, name = None)

解釋：這個函數的做用是計算 x 的 tanh 函數。具體計算公式爲\(( exp(x) - exp(-x) ) / ( exp(x) + exp(-x) )\)
tanh和tf.sigmoid很是接近,且與後者具備相似的優缺點,tf.sigmoid和tf.tanh的主要區別在於後者的值爲[-1.0,1.0]

優勢在於在一些特定的網絡架構中,可以輸出負值的能力十分有用.

缺點在於注意tf.tanh值域的中間點爲0.0,當網絡中的下一層期待輸入爲負值或者爲0.0時,這將引起一系列問題.

使用例子

import tensorflow as tf

a = tf.constant([[-1.0, -2.0], [1.0, 2.0], [0.0, 0.0]])
sess = tf.Session()
print(sess.run(tf.tanh(a)))
# [[-0.76159418 -0.96402758]
#  [ 0.76159418  0.96402758]
#  [ 0.          0.        ]]

輸入參數：
● x: 一個Tensor。數據類型必須是float，double，int32，complex64，int64或者qint32。
● name: （可選）爲這個操做取一個名字。

輸出參數：
● 一個Tensor，若是 x.dtype != qint32 ，那麼返回的數據類型和x相同，不然返回的數據類型是 quint8 .

---

tf.nn.dropout

tf.nn.dropout(x, keep_prob, noise_shape = None, seed = None, name = None)
解釋：這個函數的做用是計算神經網絡層的dropout。一個神經元將以機率keep_prob決定是否放電，若是不放電，那麼該神經元的輸出將是0，若是該神經元放電，那麼該神經元的輸出值將被放大到原來的1/keep_prob倍。這裏的放大操做是爲了保持神經元輸出總個數不變。好比，神經元的值爲[1, 2]，keep_prob的值是0.5，而且是第一個神經元是放電的，第二個神經元不放電，那麼神經元輸出的結果是[2, 0]，也就是至關於，第一個神經元被當作了1/keep_prob個輸出，即2個。這樣保證了總和2個神經元保持不變。

默認狀況下，每一個神經元是否放電是相互獨立的。可是，若是noise_shape被修改了，那麼他對於變量x就是一個廣播形式，並且當且僅當 noise_shape[i] == shape(x)[i] ，x中的元素是相互獨立的。好比，若是 shape(x) = [k, l, m, n], noise_shape = [k, 1, 1, n] ，那麼每一個批和通道都是相互獨立的，可是每行和每列的數據都是關聯的，即要不都爲0，要不都仍是原來的值。一榮俱榮,一損俱損.

使用例子

import tensorflow as tf
# tf.nn.dropout(x, keep_prob, noise_shape = None, seed = None, name = None)
a = tf.constant([[-1.0, 2.0, 3.0, 4.0]])
with tf.Session() as sess:
    b = tf.nn.dropout(a, 0.5, noise_shape=[1, 4])  # 第0維相互獨立，第1維相互獨立
    print(sess.run(b))
    b = tf.nn.dropout(a, 0.5, noise_shape=[1, 1])  # 第0維相互獨立，第1維不是相互獨立的
    print(sess.run(b))
    # 第一次
    # [[-0.  4.  0.  0.]]
    # [[-2.  4.  6.  8.]]
    # 第二次
    # [[-2.  0.  6.  8.]]
    # [[-0.  0.  0.  0.]]

輸入參數：
● x: 一個Tensor。
● keep_prob: 一個 Python 的 float 類型。表示元素是否放電的機率。
● noise_shape: 一個一維的Tensor，數據類型是int32。表明元素是否獨立的標誌。
● seed: 一個Python的整數類型。設置隨機種子。
● name: （可選）爲這個操做取一個名字。

輸出參數：
● 一個Tensor，數據維度和x相同。

異常： ● 輸入異常: 若是 keep_prob 不是在(0, 1]區間，那麼會提示錯誤。