一、Scrapy 框架流程介紹

Scrapy框架 Scrapy是用純Python實現一個爲了爬取網站數據、提取結構性數據而編寫的應用框架。 Scrapy使用了Twisted異步網絡框架來處理網絡通訊，可以加快我們的下載速度，不用自己去實現異步框架，並且包含了各種中間件藉口，可以靈活地完成各種需求。 Scrapy架構圖：（很重要，有助於理解爬蟲原理） 各個組件的作用： Scrapy運作流程：（很形象） 注意：只有當調度器中不存在任

>>阅读原文<<