python使用scrapy自動爬取多個網頁

前面介紹的scrapy爬蟲只能爬取單個網頁。如果我們想爬取多個網頁。比如網上的小說該如何如何操作呢。比如下面的這樣的結構。是小說的第一篇。可以點擊返回目錄還是下一頁 對應的網頁代碼： 我們再看進入後面章節的網頁，可以看到增加了上一頁 對應的網頁代碼： 通過對比上面的網頁代碼可以看到. 上一頁，目錄，下一頁的網頁代碼都在<div>下的<a>元素的href裏面。不同的是第一章只有2個<a>元素，從二章

>>阅读原文<<