transformer模型詳解

論文綜述： Attention Is All You Need這篇論文主要介紹了一種新的機器翻譯模型，該模型開創性的使用了很多全新的計算模式和模型結構。綜合分析了現有的主流的nlp翻譯模型的即基於CNN的可並行對其文本翻譯和基於RNN的LSTM門控長短期記憶時序翻譯模型，總結了兩個模型的優缺點並在此基礎上提出了基於自注意力機制的翻譯模型transformer，transformer模型沒有使用CN

>>阅读原文<<