Python爬蟲框架Scrapy實例（二）

Python爬蟲框架Scrapy實例（二） 目標任務：使用Scrapy框架爬取新浪網導航頁所有大類、小類、小類裏的子鏈接、以及子鏈接頁面的新聞內容，最後保存到本地。 大類小類如下圖所示： 點擊國內這個小類，進入頁面後效果如下圖（部分截圖）： 查看頁面元素，得到小類裏的子鏈接如下圖所示： 有子鏈接就可以發送請求來訪問對應新聞的內容了。   首先創建scrapy項目 # 創建項目 scrapy sta

>>阅读原文<<