動手學深度學習Pytorch版本學習筆記 Task 02

深度學習文本語言處理 1.文本預處理 文本是一類序列數據，一篇文章可以看作是字符或單詞的序列預處理通常包括四個步驟： 1.讀入文本 2.分詞 3.建立字典，將每個詞映射到一個唯一的索引（index） 4.將文本從詞的序列轉換爲索引的序列，方便輸入模型 其中： 建立詞典：詞典的主要作用是將每一個詞映射到一個唯一的索引號，主要構建了一個idx_to_token列表來存儲所有的詞，一個token_to_

>>阅读原文<<