Python爬蟲教程之Scrapy 框架

一、Scrapy 框架 Scrapy 是⽤純 Python 實現⼀個爲了爬取⽹站數據、提取結構性數據⽽編寫的應⽤框架，⽤途⾮常⼴泛。 框架的⼒量，⽤戶只需要定製開發⼏個模塊就可以輕鬆的實現⼀個爬⾍，⽤來抓取⽹⻚內容以及各種圖⽚，⾮常之⽅便。 Scrapy 使⽤了 Twisted ['twɪstɪd] (其主要對⼿是 Tornado)異步⽹絡框架來處理⽹絡通訊，可以加快我們的下載速度，不⽤⾃⼰去實現

>>阅读原文<<