Scrapy 爬蟲模板--SitemapSpider

SitemapSiper 容許咱們經過網站的 Sitemap 文件中的 URL 來爬取一個網站。Sitemap 文件包含整個網站的每一個網址連接，其中包含了上次更新時間、更新頻率以及網址的權重（重要程度）。常見的 Sitemap 文件格式有 TXT 、 XML 和 HTML 格式，大部分網站是以 XML 格式來顯示的。下面咱們來看一下 CSDN 網站的 Sitemap 文件格式。 咱們來說解一下上

>>阅读原文<<