深度學習: Nonlinear (非線性)

定義： 對「乘」、「加」運算 閉合。 作用： 非線性很難形式化，但卻是深度學習的 核心競爭力 。 正是由於網絡中強大的非線性因素，我們得以 深度地抽象出 特徵。 非線性函數主要存在於 激活函數、bn、pooling層 ，用來 增加模型容錯能力（即 防止過擬合）。 Note: 假若網絡中全部是線性部件，那麼線性的組合 其實還是線性，與單獨一個線性分類器無異。這樣就根本做不到用非線性來逼近任意函數。

>>阅读原文<<