Scrapy框架的使用之Scrapy通用爬蟲

轉載自：https://juejin.im/post/5b026d53518825426b277dd5css 經過Scrapy，咱們能夠輕鬆地完成一個站點爬蟲的編寫。但若是抓取的站點量很是大，好比爬取各大媒體的新聞信息，多個Spider則可能包含不少重複代碼。 html 若是咱們將各個站點的Spider的公共部分保留下來，不一樣的部分提取出來做爲單獨的配置，如爬取規則、頁面解析方式等抽離出來作成一

>>阅读原文<<