Scrapy爬取今日頭條街拍圖片

scrapy爬取今日頭條圖片保存至本地 之前用requests爬取過今日頭條街拍的圖片，當時只是爬取每篇文章的縮略圖，今天嘗試用scrapy來大規模爬取街拍詳細圖片。 分析頁面 今日頭條的內容是以Ajax加載而成的，我們爬取需要的是的json數據而非html。 如上圖所示，我們對爬取的json數據進行解析，即可得到文章標題，文章詳細地址。 def parse(self, response):

>>阅读原文<<