模型-深度學習-Seq2Seq、Attention、Transformer、BERT

Seq2Seq Seq2Seq模型分爲encoder層與decoder層，並均由RNN或RNN的變體構成 在encode階段，第一個節點輸入一個詞，之後的節點輸入的是下一個詞與前一個節點的hidden state，最終encoder會輸出一個context，這個context又作爲decoder的輸入，每經過一個decoder的節點就輸出一個翻譯後的詞，並把decoder的hidden state

>>阅读原文<<