Transformer、Attention與seq2seq model

一、什麼是seq2seq，以及它和Attention機制有什麼關係 seq2seq是一種NLP常見的框架——這種框架不要求輸入和輸出序列是維度是一樣的。許多NLP task的輸入輸出維度不統一，比如機器翻譯、圖像的圖注生成、摘要生成、自動問答等。seq2seq框架大多包含encoder和decoder。 Attention機制只是一種思想——即，人在理解一件事物並作出判斷的時候，並不是概覽了整個事

>>阅读原文<<