認識 Python 中的 defaultdict

今天咱們的主角是defaultdict，同時也會介紹一下魔法方法__missing__()，本文主要來源於網友博客，分享給有須要的人。

默認值能夠很方便

衆所周知，在Python中若是訪問字典中不存在的鍵，會引起KeyError異常。可是有時候，字典中的每一個鍵都存在默認值是很是方便的。例以下面的例子：

strings = ('puppy', 'kitten', 'puppy', 'puppy',
           'weasel', 'puppy', 'kitten', 'puppy')
counts = {}

for kw in strings:
    counts[kw] += 1

該例子統計strings中某個單詞出現的次數，並在counts字典中做記錄。單詞每出現一次，在counts相對應的鍵所存的值數字加1。可是事實上，運行這段代碼會拋出KeyError異常，出現的時機是每一個單詞第一次統計的時候，由於Python的dict中不存在默認值的說法，能夠在Python命令行中驗證：

>>> counts = dict()
>>> counts
{}
>>> counts['puppy'] += 1
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
KeyError: 'puppy'

使用判斷語句檢查

既然如此，首先可能想到的方法是在單詞第一次統計的時候，在counts中相應的鍵存下默認值1。這須要在處理的時候添加一個判斷語句：

strings = ('puppy', 'kitten', 'puppy', 'puppy',
           'weasel', 'puppy', 'kitten', 'puppy')
counts = {}

for kw in strings:
    if kw not in counts:
        counts[kw] = 1
    else:
        counts[kw] += 1

# counts:
# {'puppy': 5, 'weasel': 1, 'kitten': 2}

使用dict.setdefault()方法

也能夠經過dict.setdefault()方法來設置默認值：

strings = ('puppy', 'kitten', 'puppy', 'puppy',
           'weasel', 'puppy', 'kitten', 'puppy')
counts = {}

for kw in strings:
    counts.setdefault(kw, 0)
    counts[kw] += 1

dict.setdefault()方法接收兩個參數，第一個參數是健的名稱，第二個參數是默認值。假如字典中不存在給定的鍵，則返回參數中提供的默認值；反之，則返回字典中保存的值。利用dict.setdefault()方法的返回值能夠重寫for循環中的代碼，使其更加簡潔：

strings = ('puppy', 'kitten', 'puppy', 'puppy',
           'weasel', 'puppy', 'kitten', 'puppy')
counts = {}

for kw in strings:
    counts[kw] = counts.setdefault(kw, 0) + 1

使用collections.defaultdict類

以上的方法雖然在必定程度上解決了dict中不存在默認值的問題，可是這時候咱們會想，有沒有一種字典它自己提供了默認值的功能呢？答案是確定的，那就是collections.defaultdict。

defaultdict類就好像是一個dict，可是它是使用一個類型來初始化的：

>>> from collections import defaultdict
>>> dd = defaultdict(list)
>>> dd
defaultdict(<type 'list'>, {})

defaultdict類的初始化函數接受一個類型做爲參數，當所訪問的鍵不存在的時候，能夠實例化一個值做爲默認值：

>>> dd['foo']
[]
>>> dd
defaultdict(<type 'list'>, {'foo': []})
>>> dd['bar'].append('quux')
>>> dd
defaultdict(<type 'list'>, {'foo': [], 'bar': ['quux']})

須要注意的是，這種形式的默認值只有在經過dict[key]或者dict.__getitem__(key)訪問的時候纔有效，這其中的緣由在下文會介紹。

>>> from collections import defaultdict
>>> dd = defaultdict(list)
>>> 'something' in dd
False
>>> dd.pop('something')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
KeyError: 'pop(): dictionary is empty'
>>> dd.get('something')
>>> dd['something']
[]

defaultdict類除了接受類型名稱做爲初始化函數的參數以外，還可使用任何不帶參數的可調用函數，到時該函數的返回結果做爲默認值，這樣使得默認值的取值更加靈活。下面用一個例子來講明，如何用自定義的不帶參數的函數zero()做爲defaultdict類的初始化函數的參數：

>>> from collections import defaultdict
>>> def zero():
...     return 0
...
>>> dd = defaultdict(zero)
>>> dd
defaultdict(<function zero at 0xb7ed2684>, {})
>>> dd['foo']
0
>>> dd
defaultdict(<function zero at 0xb7ed2684>, {'foo': 0})

利用collections.defaultdict來解決最初的單詞統計問題，代碼以下：

from collections import defaultdict

strings = ('puppy', 'kitten', 'puppy', 'puppy',
           'weasel', 'puppy', 'kitten', 'puppy')
counts = defaultdict(lambda: 0)  # 使用lambda來定義簡單的函數

for s in strings:
    counts[s] += 1

defaultdict類是如何實現的

經過上面的內容，想必你們已經瞭解了defaultdict類的用法，那麼在defaultdict類中又是如何來實現默認值的功能呢？這其中的關鍵是使用了看__missing__()這個方法：

>>> from collections import defaultdict
>>> print defaultdict.__missing__.__doc__
__missing__(key) # Called by __getitem__ for missing key; pseudo-code:
  if self.default_factory is None: raise KeyError(key)
  self[key] = value = self.default_factory()
  return value

經過查看__missing__()方法的docstring，能夠看出當使用__getitem__()方法訪問一個不存在的鍵時dict[key]這種形式其實是__getitem__()方法的簡化形式)，會調用__missing__()方法獲取默認值，並將該鍵添加到字典中去。

關於__missing__()方法的具體介紹能夠參考Python官方文檔中的"Mapping Types — dict"一節。

文檔中介紹，從2.5版本開始，若是派生自dict的子類定義了__missing__()方法，當訪問不存在的鍵時，dict[key]會調用__missing__()方法取得默認值。

從中能夠看出，雖然dict支持__missing__()方法，可是在dict自己是不存在這個方法的，而是須要在派生的子類中自行實現這個方法。能夠簡單的驗證這一點：

>>> print dict.__missing__.__doc__
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: type object 'dict' has no attribute '__missing__'

同時，咱們能夠進一步的作實驗，定義一個子類Missing並實現__missing__()方法:

>>> class Missing(dict):
...     def __missing__(self, key):
...         return 'missing'
...
>>> d = Missing()
>>> d
{}
>>> d['foo']
'missing'
>>> d
{}

返回結果反映了__missing__()方法確實發揮了做用。在此基礎上，咱們稍許修改__missing__()方法,使得該子類同defautldict類同樣爲不存在的鍵設置一個默認值：

>>> class Defaulting(dict):
...     def __missing__(self, key):
...         self[key] = 'default'
...         return 'default'
...
>>> d = Defaulting()
>>> d
{}
>>> d['foo']
'default'
>>> d
{'foo': 'default'}

在舊版本的Python中實現類defaultdict的功能

defaultdict類是從2.5版本以後才添加的，在一些舊版本中並不支持它，所以爲舊版本實現一個兼容的defaultdict類是必要的。這其實很簡單，雖然性能可能未必如2.5版本中自帶的defautldict類好，但在功能上是同樣的。

首先，__getitem__()方法須要在訪問鍵失敗時，調用__missing__()方法：

class defaultdict(dict):
    def __getitem__(self, key):
        try:
            return dict.__getitem__(self, key)
        except KeyError:
            return self.__missing__(key)

其次，須要實現__missing__()方法用來設置默認值：

class defaultdict(dict):
    def __getitem__(self, key):
        try:
            return dict.__getitem__(self, key)
        except KeyError:
            return self.__missing__(key)

    def __missing__(self, key):
        self[key] = value = self.default_factory()
        return value

而後，defaultdict類的初始化函數__init__()須要接受類型或者可調用函數參數:

class defaultdict(dict):
    def __init__(self, default_factory=None, *a, **kw):
        dict.__init__(self, *a, **kw)
        self.default_factory = default_factory

    def __getitem__(self, key):
        try:
            return dict.__getitem__(self, key)
        except KeyError:
            return self.__missing__(key)

    def __missing__(self, key):
        self[key] = value = self.default_factory()
        return value

最後，綜合以上內容，經過如下方式完成兼容新舊Python版本的代碼：

try:
    from collections import defaultdict
except ImportError:
    class defaultdict(dict):
      def __init__(self, default_factory=None, *a, **kw):
          dict.__init__(self, *a, **kw)
          self.default_factory = default_factory

      def __getitem__(self, key):
          try:
              return dict.__getitem__(self, key)
          except KeyError:
              return self.__missing__(key)

      def __missing__(self, key):
          self[key] = value = self.default_factory()
          return value

參考文檔

https://docs.python.org/2/lib...

關於做者：Python技術愛好者，目前從事測試開發相關工做，轉載請註明原文出處。歡迎關注個人博客 https://betacat.online，你能夠到個人公衆號中去當吃瓜羣衆。