神經網絡的萬能近似定理

神經網絡的萬能近似定理 萬能近似定理: ⼀個前饋神經⽹絡如果具有線性層和⾄少⼀層具有 「擠壓」 性質的激活函數（如 sigmoid 等），給定⽹絡⾜夠數量的隱藏單元，它可以以任意精度來近似任何從⼀個有限維空間到另⼀個有限維空間的 borel 可測函數。 我們可以通過兩個 sigmoid 函數 (y = sigmoid(w⊤x + b)) ⽣成⼀個 tower，如圖： 我們構造多個這樣的 tower

>>阅读原文<<