relu激活函數解讀

Tensorflow學習——ReLu 轉載 2017年07月17日 22:39:50 預訓練的用處：規則化，防止過擬合；壓縮數據，去除冗餘；強化特徵，減小誤差；加快收斂速度。 標準的sigmoid輸出不具備稀疏性，需要用一些懲罰因子來訓練出一大堆接近0的冗餘數據來，從而產生稀疏數據，例如L1、L1/L2或Student-t作懲罰因子。因此需要進行無監督的預訓練。 而ReLU是線性修正，公式爲：g(

>>阅读原文<<