深度學習02

文本預處理、語言模型、循環神經網絡 文中圖片皆來自伯禹學習的網課 文本預處理 文本預處理過程包括: 讀入文本 分詞(token) 建立字典,將每個詞映射到一個唯一的索引(index) 將文本從詞的序列轉換爲索引的序列,方便輸入模型 常用的工具包有spacy,NLTK 語言模型 一段自然語言文本可以看作是一個離散時間序列,給定一個長度爲T的詞的序列w1,w2,…,wT,語言模型的目標就是評估該序列是
相關文章
相關標籤/搜索