如何使用Hanlp加載大字典

問題 因爲需要加載一個 近 1G 的字典到Hanlp中,一開始使用了CustomDictionay.add() 方法來一條條的加載,果然到了中間,維護DoubleArraTre 的成本太高,添加一個節點,都會很長時間,本來時間長一點沒有關係,只要訓練出.bin 的文件,第二次加載就會很快,然而作爲以空間換時間的DAT結構,內存消耗很大,預料之內的出現了 1   out of memory: hea
相關文章
相關標籤/搜索