Scrapy筆記（10）- 動態配置爬蟲

有不少時候咱們須要從多個網站爬取所須要的數據，好比咱們想爬取多個網站的新聞，將其存儲到數據庫同一個表中。咱們是否是要對每一個網站都得去定義一個Spider類呢？其實不須要，咱們能夠經過維護一個規則配置表或者一個規則配置文件來動態增長或修改爬取規則，而後程序代碼不須要更改就能實現多個網站爬取。html 要這樣作，咱們就不能再使用前面的scrapy crawl test這種命令了，咱們須要使用編程的方

>>阅读原文<<