nlp項目實踐古詩創作tensorflow ---(2)reader類編寫(獲得訓練數據batch)

之前介紹了數據集,接下來將數據集生成batch的訓練數據,並增加一些符號以及轉換成數字。 整體介紹 對於輸入的中文,想要在模型中體現,必然不可能以漢字的形式呈現,而是使用embedding將這個字對應到一個n維的向量中去,而爲了能夠較快的完成這個對應任務,需要首先把漢字轉換成一個序號,由於使用了別人訓練好的embedding,因此也要使用別人的字符序號。 將一句話轉換成序號後,還需要做一些「加減法
相關文章
相關標籤/搜索