Transformer

https://zhuanlan.zhihu.com/p/54356280 transformer 在NLP領域，目前最流行的特徵抽取器。 有encoder 和decoder兩部分，其中encoder部分有 自注意力和前饋神經網絡部分，而decoder部分主要是 自注意力、編碼解碼注意力層和前饋神經網絡。 在transformer 中 一般encoder和decoder 數量一般一樣，可能都爲6個

>>阅读原文<<