Hugging Face推出了分詞器

原文鏈接：https://medium.com/dair-ai/hugging-face-introduces-tokenizers-d792482db360 去年對於自然語言處理（NLP）來說是巨大的。就改進而言，現在可以通過使用優化的庫和高性能硬件來更快地實現神經網絡。但是，基於深度學習的現代NLP管道中的瓶頸之一是tokenization，尤其是通用性強且獨立於框架的實現。 爲了提供對現代N

>>阅读原文<<