《動手學深度學習》---卷積神經網絡複習

使用多通道可以拓展卷積層的模型參數。 假設將通道維當作特徵維，將高和寬維度上的元素當成數據樣本，那麼1×1卷積層的作用與全連接層等價。 1×1卷積層通常用來調整網絡層之間的通道數，並控制模型複雜度。 一方面，ReLU激活函數的計算更簡單，例如它並沒有sigmoid激活函數中的求冪運算。另一方面，ReLU激活函數在不同的參數初始化方法下使模型更容易訓練。這是由於當sigmoid激活函數輸出極接近0或

>>阅读原文<<