Python實現具有元素惟一性的隊列

直奔主題，在用多線程寫一個爬蟲項目時，很天然的想到用「生產者-消費者」模式，可是又想實現一個額外的需求，即若是爬蟲爬到了隊列中已存在的url，則不進行入隊操做。想實現這個，大概面臨兩個問題：

1. Queue對象不支持in操做
2. 即便1成立，若是在Queue對象外部經過if item in q這種形式也行不通，由於該過程無鎖，多線程狀況下就沒法保證查詢結果的準確性

進而觀察了一下queue模塊的源代碼，由於Queue類是基於deque類實現的，那麼就好辦了：對put方法稍加改造，增長一個unique參數，依據此參數是否爲True，在底層的deque中判斷要加入的元素的存在性，以此可實現相似set的特性。

put方法源代碼：

def put(self, item, block=True, timeout=None):
        with self.not_full:
            if self.maxsize > 0:
                if not block:
                    if self._qsize() >= self.maxsize:
                        raise Full
                elif timeout is None:
                    while self._qsize() >= self.maxsize:
                        self.not_full.wait()
                elif timeout < 0:
                    raise ValueError("'timeout' must be a non-negative number")
                else:
                    endtime = time() + timeout
                    while self._qsize() >= self.maxsize:
                        remaining = endtime - time()
                        if remaining <= 0.0:
                            raise Full
                        self.not_full.wait(remaining)
            self._put(item)
            self.unfinished_tasks += 1
            self.not_empty.notify()

修改後的put方法

def put(self, item, block=True, timeout=None, unique=False):
        """增長了unique參數"""
        with self.not_full:
            #----- 如下三行爲新增代碼 -----#
            if unique:
                if item in self.queue:
                    return
            #----- 新增代碼結束 -----#
            if self.maxsize > 0:
                if not block:
                    if self._qsize() >= self.maxsize:
                        raise Full
                elif timeout is None:
                    while self._qsize() >= self.maxsize:
                        self.not_full.wait()
                elif timeout < 0:
                    raise ValueError("'timeout' must be a non-negative number")
                else:
                    endtime = time() + timeout
                    while self._qsize() >= self.maxsize:
                        remaining = endtime - time()
                        if remaining <= 0.0:
                            raise Full
                        self.not_full.wait(remaining)
            self._put(item)
            self.unfinished_tasks += 1
            self.not_empty.notify()

固然也能夠仿照put_nowait方法增長一個快捷方法put_unique，以下

def put_unique(self, item, block=True, timeout=None):
        return self.put(item, block, timeout, unique=True)

Have fun!