深度前饋網絡與Xavier初始化原理

前言 基本的神經網絡的知識（一般化模型、前向計算、反向傳播及其本質、激活函數等）小夕已經介紹完畢，本文先講一下深度前饋網絡的BP過程，再基於此來重點講解在前饋網絡中用來初始化model參數的Xavier方法的原理。 前向 前向過程很簡單，每一層與下一層的連接邊(即參數)構成了一個矩陣(即線性映射)，每一層的神經元構成一個激活函數陣列（即非線性映射），信號便從輸入層開始反覆的重複這兩個過程直到輸出層

>>阅读原文<<