Encoder-Decoder框架、Attention、Transformer、ELMO、GPT、Bert學習總結

Encoder-Decoder框架： 可以把它看作適合處理由一個句子（或篇章）生成另外一個句子（或篇章）的通用處理模型。對於句子對<Source,Target>，我們的目標是給定輸入句子Source，期待通過Encoder-Decoder框架來生成目標句子Target。 Encoder顧名思義就是對輸入句子Source進行編碼，將輸入句子通過非線性變換轉化爲中間語義表示C： 對於解碼器Decode

>>阅读原文<<