論文略讀 | Attention is all you need

2017年Google發表在NIPS的一篇文章,到現在已經1200+的引用量了,可以看到現在多火了吧。還是要來看看的,粗略讀一下吧。 後續,從閱讀理解的Encoder-Decoder方面改一下看看會不會有改進點。還有Mem2seq的代碼看一下。相似度概率計算的公式可以改一下試試。 主要序列轉導模型基於包括編碼器和解碼器的複雜RNN或者CNN網絡,性能最佳的模型是通過注意力機制鏈接編碼器和解碼器。本
相關文章
相關標籤/搜索