scrapy基本介紹及運行原理

Scrapy框架 1 scrapy是用純python實現一個爲了爬取網站數據、提取結構性數據而編寫的應用框架，用途廣泛。 2 用戶只需要定製開發的幾個模塊就能輕鬆實現一個爬蟲，用來抓取網頁內容、圖片。 3 scrapy使用Twisted[twistrd]（其主要對手是tornado）異步網絡框架來處理網絡通訊可以加快下載速度，不用自己實現一部框架，並且包含了各種中間件可以靈活的完成各種的需求 Sc

>>阅读原文<<