倒排索引統計與 Python 字典

時間 2019-11-16

原文原文鏈接

最近折騰索引引擎以及數據統計方面的工做比較多, 與 Python 字典頻繁打交道, 至此整理一份此方面 API 的用法與坑法備案.
索引引擎的基本工做原理即是倒排索引, 即將一個文檔所包含的文字反過來映射至文檔; 這方面算法並無太多花樣可言, 爲了增長效率, 索引數據儘可往內存裏面搬, 此法可效王獻之習書法之勢, 只要把十八臺機器內存所有塞滿, 那麼基本也就功成名就了. 而基本思路舉個簡單例子, 如今有如下文檔 (分詞已經完成) 以及其包含的關鍵詞html

doc_a: [word_w, word_x, word_y]
doc_b: [word_x, word_z]
doc_c: [word_y]

將其變換爲python

word_w -> [doc_a]
word_x -> [doc_a, doc_b]
word_y -> [doc_a, doc_c]
word_z -> [doc_b]

寫成 Python 代碼, 即是面試

doc_a = {'id': 'a', 'words': ['word_w', 'word_x', 'word_y']} 
doc_b = {'id': 'b', 'words': ['word_x', 'word_z']} 
doc_c = {'id': 'c', 'words': ['word_y']} 

docs = [doc_a, doc_b, doc_c] 
indices = dict() 

for doc in docs: 
    for word in doc['words']: 
        if word not in indices: 
            indices[word] = [] 
        indices[word].append(doc['id']) 

print indices

不過這裏有個小技巧, 就是對於判斷當前詞是否已經在索引字典裏的分支算法

if word not in indices: 
    indices[word] = []

能夠被 dict 的 setdefault(key, default=None) 接口替換. 此接口的做用是, 若是 key 在字典裏, 那麼好說, 拿出對應的值來; 不然, 新建此 key , 且設置默認對應值爲 default . 但從設計上來講, 我不明白爲什麼 default 有個默認值 None , 看起來並沒有多大意義, 若是確要使用此接口, 大致都會自帶默認值吧, 以下數據結構

for doc in docs: 
    for word in doc['words']: 
        indices. setdefault(word, []) .append(doc['id'])

這樣就省掉分支了, 代碼看起來少不少.
不過在某些狀況下, setdefault 用起來並不順手: 當 default 值構造很複雜時, 或產生 default 值有反作用時, 以及一個以後會說到的狀況; 前兩種狀況一言以蔽之, 就是 setdefault 不適用於 default 須要惰性求值的場景. 換言之, 爲了兼顧這種需求, setdefault 可能會設計成app

def setdefault(self, key, default_factory): 
    if key not in self: 
        self[key] = default_factory() 
    return self[key]

假若真如此, 那麼上面的代碼應改爲搜索引擎

for doc in docs: 
    for word in doc['words']: 
        indices.setdefault(word,  list ).append(doc['id'])

不過實際上有其它替代方案, 這個最後會提到.
若是說上面只是一個能預見但實際上可能根本不會遇到的 API 缺陷, 那麼下面這個就略打臉了.
考慮如今要進行詞頻統計, 即一個詞在文章中出現了多少次, 若是直接拿 dict 來寫, 大體是spa

def word_count(words): 
    count = dict() 
    for word in words: 
        count.setdefault(word, 0) += 1 
    return count 

print word_count(['hiiragi', 'kagami', 'hiiragi', 'tukasa', 'yosimizu', 'kagami'])

當你興致勃勃地跑起上面代碼時, 代碼會以迅雷不及掩臉之勢把異常甩到你鼻尖上 --- 由於出如今 += 操做符左邊的 count.setdefault(word, 0) 在 Python 中不是一個左值. 怎樣, 如今開始唸叨 C艹類型體系的好了吧.
由於 Python 把默認的字面常量 {} 等價於 dict() 就認爲 dict 是銀彈的思想是要不得的; Python 裏面各類數據結構很多, 解決統計問題, 理想的方案是 collections.defaultdict 這個類. 下面的代碼想必看一眼就明白.net

from collections import defaultdict 

doc_a = {'id': 'a', 'words': ['word_w', 'word_x', 'word_y']} 
doc_b = {'id': 'b', 'words': ['word_x', 'word_z']} 
doc_c = {'id': 'c', 'words': ['word_y']} 

docs = [doc_a, doc_b, doc_c] 
indices =  defaultdict(list) 

for doc in docs: 
    for word in doc['words']: 
        indices[word].append(doc['id']) 

print indices 

def word_count(words): 
    count =  defaultdict(int) 
    for word in words: 
        count[word] += 1 
    return count 

print word_count(['hiiragi', 'kagami', 'hiiragi', 'tukasa', 'yosimizu', 'kagami'])

完滿解決了以前遇到的那些破事.設計

此外 collections 裏還有個 Counter , 能夠粗略認爲它是 defaultdict(int) 的擴展.