scrapy基本介紹及運行原理

Scrapy框架 1 scrapy是用純python實現一個爲了爬取網站數據、提取結構性數據而編寫的應用框架，用途普遍。python 2 用戶只須要定製開發的幾個模塊就能輕鬆實現一個爬蟲，用來抓取網頁內容、圖片。網絡 3 scrapy使用Twisted[twistrd]（其主要對手是tornado）異步網絡框架來處理網絡通信能夠加快下載速度，不用本身實現一部框架，而且包含了各類中間件能夠靈活的完成

>>阅读原文<<