Disconnected Recurrent Neural Networks for Text Categorization

Disconnected Recurrent Neural Networks（DRNN） CNN模型擅長抽取位置不變的局部特徵，但是對於一些長距離依賴的問題處理的並不好。 RNN模型則更適合處理長距離依賴問題。 DRNN將RNN和CNN的優點結合起來，利用RNN增加了文本的長期依賴性，利用CNN增強了對局部的檢測和位置不變性。該模型的結構是將k個RNN作爲CNN中的卷積核，其中k爲window s

>>阅读原文<<