WebMagic實現分佈式抓取以及斷點抓取

前言 從去年到今年，筆者主要負責的是與合作方的內容對接，新增的合作商不是很多的情況下，在我自從去年引入了 WebMagic 這個爬蟲框架之後，基本很少需要去關注維護爬蟲，做的最多的是新接入合作商去寫對應爬蟲抓取模板。 因爲在代碼中實現了增量抓取，單機也足以承擔日常的抓取工作。 在前兩週，由於公司拓展新的業務渠道，需要接入的合作商瞬間增加了 3 倍，又被要求在 2 天內全部接入，那兩天和另外一個同事

>>阅读原文<<