記憶網絡Memory Network

在本專欄的第一篇文章對話系統綜述中提到,seq2seq中的記憶依靠rnnCell或者lstmCell實現,但是rnn和lstm的記憶能力實在有限,最多也就記憶十幾個時間步長。因此當句子長度增長時或者需要添加先驗知識時,seq2seq就不能滿足此時對話系統的需求了。 比起人工增加RNN隱藏狀態大小,我們更願意任意增加加入模型的知識量,同時對模型本身做出最小限度改變。基本上,我們能用獨立存儲器——作爲
相關文章
相關標籤/搜索