Python爬蟲之使用celery加速爬蟲

  celery是一個基於分佈式消息傳輸的異步任務隊列，它專注於實時處理，同時也支持任務調度。關於celery的更多介紹及例子，筆者可以參考文章Python之celery的簡介與使用。   本文將介紹如何使用celery來加速爬蟲。   本文爬蟲的例子來自文章：Python爬蟲的N種姿勢。這裏不再過多介紹，我們的項目結構如下： 其中，app_test.py爲主程序，其代碼如下： from cele

>>阅读原文<<