Task2:文本預處理；語言模型； 循環神經網絡基礎知識點總結

文本預處理 步驟： 讀入文本 分詞 建立字典，將每個詞映射到一個唯一的索引 把文本從詞的序列轉化爲索引的序列（把token轉化爲數，方便輸入模型） 分詞 把句子分成若干token，使之成爲 a serie of token 建立字典 把每一個token映射到一個唯一的Index 語言模型 語言模型是一種通過概率大小判斷一段給定的詞的序列是否合理的模型，分爲統計語言模型和神經網絡語言模型兩種。 一段

>>阅读原文<<