淺談自然語言生成中的RNN和Transformer算法

1.簡述 通常，在自然語言生成任務（機器翻譯，文本摘要，對話系統等）中，RNN和Transfomer都是常用的算法。下面，我們淺談下采用RNN和Transformer的區別。 2.RNN模型簡介： 相比於詞袋模型和前饋神經網絡模型，RNN可以考慮到詞的先後順序對預測的影響，RNN包括三個部分：輸入層、隱藏層和輸出層。相對於前饋神經網絡，RNN可以接收上一個時間點的隱藏狀態，基本結構圖如下：   計

>>阅读原文<<