垂直型爬蟲架構設計(3)

2019獨角獸企業重金招聘Python工程師標準>>>     之前的幾篇博文已經大概的說了一些垂直型爬蟲的功能,現在簡單的介紹一下我所用的爬蟲總體框架的設計,涵蓋整個爬蟲的各個節點.     我所用的爬蟲主要分爲兩個部分,也就是兩個節點.    主節點與爬蟲節點.     ‍主節點‍負責所有的爬蟲任務調度工作,包括爬蟲任務的分發,爬蟲任務的重試等.同時也用於分配抓取任務,對於抓取任務做簡單的規劃

>>阅读原文<<