零基礎入門NLP-新聞文本分類

1、Transformer Transformer是一種新的編碼器-解碼器架構，它僅使用注意力機制而不是RNN來編碼每個位置，並關聯有關其自身的輸入和輸出的兩個遠端單詞，然後可以並行化處理，因而加快訓練。 2、Attention        模仿人類視覺注意力機制，學習出一個對圖像特徵的權重分佈，再把這個權重分佈施加在原來的特徵上，爲後面任務如圖像分類、圖像識別等提供不同的特徵影響，使得任務主要

>>阅读原文<<