Scrapy （網絡爬蟲框架）入門

一.Scrapy 簡介： Scrapy是用純Python實現一個爲了爬取網站數據、提取結構性數據而編寫的應用框架，Scrapy 使用了 Twisted['twɪstɪd](其主要對手是Tornado)異步網絡框架來處理網絡通訊，可以加快我們的下載速度，不用自己去實現異步框架，並且包含了各種中間件接口，可以靈活的完成各種需求。 二.Scrapy框架 1.框架圖 綠色線是數據流向 2.框架圖講解： 功

>>阅读原文<<