隱藏單元的選擇

整流線性單元(ReLu)是隱藏單元極好的默認選擇。也可以選擇其他隱藏單元，但是選用過程中充滿了試驗和錯誤，先直覺認爲某種隱藏單元可能表現良好，然後用它組成神經網絡進行訓練，最後用驗證集來評估它的性能。 有些隱藏單元並不是在所有點上可微，比如說Relu在z=0點處不可微，但在實踐中，梯度下降對這些機器學習模型仍舊錶現的足夠好。部分原因是神經網絡訓練算法通常不會達到代價函數的局部最小值，而是僅僅顯著減

>>阅读原文<<