基於scrapy 的360圖片爬取 item中圖片存儲多個鏈接並下載

對於scrapy我還是沒有感覺到他的強大 怪我太菜 仍然感覺requests好用 本片基於360圖片的爬取 並對深度的爬取 不爬取封面 太lower了 直接進入正題 首先明確360的圖片爲動態加載 所以毫無疑問你需要訪問xhr 由於本人喜歡二次元所以選擇了cosplay  下面兩個圖片爲動態加載的第二頁於 第三頁 這裏可以很清楚的看見其js文件 且無傳遞值 所以基本無反爬 url的規則行極高 其第

>>阅读原文<<