3、CNN、RNN、LSTM

1、CNN:就是把每個字轉換成向量,再拼接成圖像的樣式,再用卷積核處理,再池化和拼接,再softmax得到分類結果,卷積核的作用能夠整合一些上下文信息。 2、RNN:前向網絡中加入了前一個字的信息,隱含層嘛;能夠整合更多的上下文信息,效果更好,但是會出現梯度消失和爆炸。產生的原因是什麼呢?在bp過程中(這裏就不推導了),當前層參數的導數是後面所有層導數跌成的結果,主要包含激活函數的導數和權值矩陣兩
相關文章
相關標籤/搜索