如何構建一個分佈式爬蟲：基礎篇

繼上篇咱們談論了Celery的基本知識後，本篇繼續講解如何一步步使用Celery構建分佈式爬蟲。此次咱們抓取的對象定爲celery官方文檔。html 首先，咱們新建目錄distributedspider，而後再在其中新建文件workers.py,裏面內容以下python from celery import Celery app = Celery('crawl_task', include=['t

>>阅读原文<<