小結2:文本預處理、語言模型、循環神經網絡基礎

文章目錄 1 文本預處理 2 語言模型 採樣 3 循環神經網絡基礎 1 文本預處理 文本預處理常見步驟: 1 讀入文本 2 分詞 3 建立字典,將每個詞映射到一個唯一的索引(index) 4 將文本從詞的序列轉換爲索引的序列,方便輸入模型 爲了方便模型處理,我們需要將字符串轉換爲數字。因此我們需要先構建一個字典(vocabulary),將每個詞映射到一個唯一的索引編號。 語料庫,分詞等。 將詞進行
相關文章
相關標籤/搜索