爬蟲初步六

Scrapy庫的使用 1. 什麼是scrapy框架？ 它是一個用的最多的一個爬蟲框架，相當於一個爬蟲模版，是爬蟲代碼的半成品。主要針對網站級的爬蟲規模。具有可編寫，可擴展的功能。 2. 框架的具體結構圖 整個過程是這樣的：spiders獲取初始的url(程序員指定某個網站),產生requests。通過引擎放在scheduler上面。scheduler發現僅有一個url便立馬通過引擎去downloa

>>阅读原文<<