學習爬蟲之Scrapy框架學習(4)(ten day)

CrawlSpider的引入:

(1)首先:

之前使用的scrapy框架,我們創建spider爬蟲文件使用的都是basic模板:
在這裏插入圖片描述觀察使用這個命令創建的spider爬蟲文件,可知它繼承的是scrapy.Spider類:
在這裏插入圖片描述

(2)第二步:我們通過命令scrapy genspider觀察幫助:

在這裏插入圖片描述使用幫助裏的命令scrapy genspider -l命令可查看可用的爬蟲模板:

在這裏插入圖片描述

(3)第三步:現在,我們使用模板crawl創建一個爬蟲文件:在這裏插入圖片描述

觀察創建的爬蟲文件,可知,它繼承的是CrawlSpider類(注意:CrawlSpider類又繼承了Spider類!),這就是咱今個學習的玩意:

在這裏插入圖片描述

1.CrawlSpider

(1)這是個啥玩意?
創建的繼承CrawlSpider類的爬蟲文件

(1)我們通過爬取縱橫小說的內容來深入瞭解一下這個新玩意!

(縱橫小說網址:http://book.zongheng.com/store/c0/c0/b0/u0/p1/v0/s9/t0/u0/i1/ALL.html)

程序出問題補充中!!!