爬蟲---scrapy框架

什麼是scrapy： 組成部分：引擎：調度器，下載器，爬蟲模塊，管道存儲數據，下載中間件，spider中間件 步驟：         引擎---隊列--引擎，         引擎---下載----外部服務器請求源碼---引擎，         引擎---爬蟲提取數據item對象---引擎---pipe去重存儲   安裝：        cmd中進入虛擬環境workon env1        p

>>阅读原文<<