scrapy爬取百度圖片，解決ajax+json的異步問題

首先，我用爬蟲的目的是爲了學習圖像處理，爲製作自己的圖像數據集，去訓練分類器所用，所以這是一項基本技能吧，話不多說，下面就是我用scrapy框架去爬取百度圖片的分類器 1.明確要爬取的對象是什麼 （1）找到json文件 百度圖片採用的是ajax+json機制，單獨一次訪問返回的html只是一個空殼，需要的圖片信息並不在其中，真真的圖片信息被打包放在json文件當中，所以我們真正要解讀的是json文

>>阅读原文<<