分詞算法綜述

之前總是在看前沿文章，真正落實到工業級任務還是需要實打實的硬核基礎，我司選用了HANLP作爲分詞組件，在使用的過程中才感受到自己基礎的薄弱，決定最近好好把分詞的底層算法梳理一下。 1. 簡介 NLP的底層任務由易到難大致可以分爲詞法分析、句法分析和語義分析。分詞是詞法分析（還包括詞性標註和命名實體識別）中最基本的任務，可以說既簡單又複雜。說簡單是因爲分詞的算法研究已經很成熟了，大部分的準確率都可以

>>阅读原文<<