scrapy爬取新浪網站全棧新聞標題內容,並且分類存入文件夾中

首先我帶大家先分析一下新浪網站的整體佈局,爬取的內容從新浪網的導航頁開始逐層爬取內容,這是新浪網導航頁的網址http://news.sina.com.cn/guide/,先帶大家看一下新浪網的導航頁的頁面佈局。 我們看到新浪網的導航分類,是新聞的標題下面還設置小標題,如新聞下面包括國內、國際、社會等等,點擊國內就會進入頁面詳情,每一條新聞都會呈現在大家面前,點擊新聞詳情的鏈接就如進入到每條新聞的詳
相關文章
相關標籤/搜索