BP,RNN 和 LSTM暨《Supervised Sequence Labelling with Recurrent Neural Networks-2012》閱讀筆記

一、BackPropagation :表示第層第k個神經元到第層第j個神經元的連接權重; :表示第層第j個神經元的偏置; :表示第層第j個神經元的帶權輸入; :表示第層第j個神經元的激活值; :表示一個激活函數(sigmoid,relu,tanh); 向量化上面的公式: L(W,b,x,y):表示損失函數,其中y是正確值,x是輸入,下面是二次方損失函數的計算; 阿達馬(Hadamard)乘積,表示
相關文章
相關標籤/搜索