機器翻譯,注意力機制,seq2seq模型

機器翻譯 數據預處理(小羅同學總結) 編碼——解碼 seq2seq模型 讀取數據,處理數據中的編碼問題,並將無效的字符串刪除 分詞,分詞的目的就是將字符串轉換成單詞組成的列表。目前有很多現成的分詞工具可以直接使用,也可以直接按照空格進行分詞(不推薦,因爲分詞不是很準確) 建立詞典,將單詞組成的列表編程單詞id組成的列表,這裏會得到如下幾樣東西 去重後詞典,及其中單詞對應的索引列表 還可以得到給定索
相關文章
相關標籤/搜索