tokenizer.encode（）

tokenizer.encode("說你跑的挺遠",add_special_tokenizerns=False) 相當於 seg=tokenizer.tokenize("說你跑的挺遠") encoder = tokenizer.convert_tokenizerns_to_ids(seg)  

>>阅读原文<<