transformer簡析

Transformer簡析 除了傳統的rnn與cnn外,在nlp領域中越來越的transformer模型逐漸進入人們的視野,他很好的解決了在自然語言處理中,rnn遇到的幾個問題,包括不方便並行計算,記憶丟失等問題。相對於傳統的nmt模型,transformer引進了attention機制,最終效果也非常好。 在這裏說說我自己對模型的理解。 attention機制 對於傳統的NMT來說,翻譯的順序是
相關文章
相關標籤/搜索