爬蟲scrapy框架入門

O、知識框架   一、初步概念 　　Scrapy是一個爲了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。 　　1.requests+selenium能解決90%的爬蟲需求&scrapy加速 　　2.scrapy使用了Twisted異步網絡框架，加快下載速度。Twisted學習：http://www.javashuo.com/arti

>>阅读原文<<