Scrapy之Crawlspider實例：爬取滬江網校所有課程信息

點擊此處查看要爬取的網頁 如圖，利用Crawlspider將所有的課程信息爬取下來，並存入MongoDB數據庫 整體思路清晰，簡單，不過有一個要注意的點，在插入到數據庫的時候 items.py import scrapy class HujiangwangxiaoItem(scrapy.Item): _id = scrapy.Field() # 插入到MongoDB數據庫最好一定要加上

>>阅读原文<<