用TensorFlow中內置的vocabulary processor處理單詞

一般我們在進行文本處理時,需要寫方法建立詞彙表和word到idx,以及idx到word的映射關係,這就需要統計詞彙表中的所有單詞並建立相應的詞典。 在建立文檔到idx的映射關係時,我們也可以用tensorflow內置的preprocessing.VocabularyProcessor來建立word到idx的映射關係。 VocabularyProcessor:Maps documents to se
相關文章
相關標籤/搜索