Scrapy框架

Scrapy框架 ***Scrapy***是用純Python實現一個爲了爬取網站數據、提取結構性數據而編寫的應用框架。Scrapy 使用了Twisted['twɪstɪd]異步網絡框架來處理網絡通訊，可以加快我們的下載速度，不用自己去實現異步框架，並且包含了各種中間件接口，可以靈活的完成各種需求，加快開發速度。 原理圖 爬蟲文件將第一個需要處理的網址交給引擎。 引擎將該網址交給調度器去處理（調度器

>>阅读原文<<