敏感詞過濾-AC自動機

在很多內容系統中,都需要過濾一些敏感詞,比如說"fuck you shit up"就要發現裏面有"fuck"、"shit"這些髒詞。 首先,我們要先了解敏感詞過濾的一些特徵: 1. 敏感詞多,一般成千上萬 2. 單詞長度有限,一般不會超過10 3. 要過濾的句子長度有限,一般不過1000 通過上面特徵,我們粗略的算一下,如果採用暴力匹配方案的話,複雜度將會是1k*10*1k=10^7左右的運算量。
相關文章
相關標籤/搜索