用scrapy-redis爬去新浪-以及把數據存儲到mongo,mysql數據庫中

需求：爬取新浪網導航頁（http://news.sina.com.cn/guide/）所有下所有大類、小類、小類裏的子鏈接，以及子鏈接頁面的新聞內容。 準備工作： a.安裝redis(windows或者linux) b.安裝Redis Desktop Manager c.scrapy-redis的安裝以及scrapy的安裝 d.安裝mongo e.安裝mysql 創建項目和相關配置 創建項目命令：

>>阅读原文<<