haipproxy學習分析-haipproxy架構及流程說明

這篇文章的目的是闡述haipproxy的主要架構和流程。該項目關鍵部分是 基於Scrapy和Redis的分佈式爬蟲，用作IP抓取和校驗，對應於項目的crawler 基於Redis實現的分佈式任務調度工具，對應於項目的scheduler和redis_util.py Crawler分爲代理抓取和校驗，兩者實現思想類似，主要使用Scrapy的spider_idle信號和DontCloseSpider異常

>>阅读原文<<