使用Actor模型對詞頻統計程序進行多線程優化

詞頻統計程序是一個相當簡單的程序:它讀一個文件夾裏的所有指定類型的文件,統計其中出現的英文單詞的次數,並排序輸出。 但是它卻有很大的優化餘地,甚至可以分佈式到多臺機器中(Map-Reduce模型)。但是,在單機中搞這麼複雜反而會增加運行時間和內存。 我們希望將它改造成多線程。但是,分詞過程和統計過程若分佈到多個線程中,則對內存的鎖會增加,因爲大部分算法的時間效率都是O(n)的,而且對內存的操作很頻
相關文章
相關標籤/搜索