深度學習中那些有趣的定理或理論

1.通用近似定理

在人工神經網絡領域的數學觀點中，「通用近似定理 (Universal approximation theorem，一譯萬能逼近定理)」指的是：若是一個前饋神經網絡具備線性輸出層和至少一層隱藏層，只要給予網絡足夠數量的神經元，即可以實現以足夠高精度來逼近任意一個在 ℝn 的緊子集 (Compact subset) 上的連續函數。

這必定理代表，只要給予了適當的參數，咱們即可以經過簡單的神經網絡架構去擬合一些現實中很是有趣、複雜的函數。這一擬合能力也是神經網絡架構可以完成現實世界中複雜任務的緣由。儘管如此，此定理並無涉及到這些參數的算法可學性 (Algorithmic learnablity)。

推薦閱讀：

形象的表述sigmoid的神經網絡萬能近似定理

萬能近似定理（universal approximation theorrm）