NLP之新聞文本分類——Task6

Task6——基於深度學習的文本分類Bert 1.Transformer原理 Transformer是在」Attention is All You Need「中提出的，模型的編碼部分是一組編碼器的堆疊（論文中依次堆疊六個編碼器），模型的解碼部分是由相同數量的解碼器的堆疊。 我們重點關注編碼部分。他們結構完全相同，但是並不共享參數，每一個編碼器都可以拆解成兩部分。在對輸入序列做詞的向量化之後，它們首

>>阅读原文<<