Scrapy爬取globaltimes英語新聞站點

目標站點與分析 訪問http://www.globaltimes.cn　站點，可以看到目標站點分爲幾大新聞板塊，大板塊下還有其他子板塊，其中還包含了視頻，圖片等板塊。在這裏只爬取新聞板塊吧。 訪問新聞詳情頁可以看到網站鏈接類似於｀http://www.globaltimes.cn/content/*.shtml｀　的鏈接，所以隨便輸入一個數字，就可以訪問到具體的新聞詳情頁了，可以極大的減少正則書寫

>>阅读原文<<