CNN, RNN, Transformer關於特徵提取的對比分析

在自然語言領域，不論是什麼問題，首先都會有一種比較主流的操作，就是先對輸入基於預訓練的詞向量做embedding，再用一個結構（特徵提取器）結合上下文去做多一次embedding，這樣得到的詞向量，就可以有效地反映出自身的含義，以及在句子中與其他詞之間的聯繫了。 即使特徵提取器五花八門，但總的來說可以認爲都是基於CNN、RNN、transformer的改進版本，所以他們或多或少都有着這幾個模型的優

>>阅读原文<<