Scrapy （網絡爬蟲框架）入門

一.Scrapy 簡介：linux Scrapy是用純Python實現一個爲了爬取網站數據、提取結構性數據而編寫的應用框架，Scrapy 使用了 Twisted['twɪstɪd](其主要對手是Tornado)異步網絡框架來處理網絡通信，能夠加快咱們的下載速度，不用本身去實現異步框架，而且包含了各類中間件接口，能夠靈活的完成各類需求。 網絡 二.Scrapy框架框架 1.框架圖異步 綠色線是數據流

>>阅读原文<<