【爬蟲】【原創】pyspider抓取宅男女神美女圖片

 

靈感來源：

https://zhuanlan.zhihu.com/p/31421316

抓取頁面：

https://www.nvshens.com/tag/new/

頁面分析：

1. 首頁獲取全部圖片詳情頁，須要遍歷15頁

    

2. 獲取獲得圖片詳情頁後，須要獲取圖片集連接

　　3. 獲得圖片集連接後，須要獲取圖片真實地址，須要對全部圖片頁進行遍歷

 

函數設計：

1. 調用如下2個獲得全部詳情頁的url

 

 

2. 調用如下函數獲得圖片集地址

 

3. 調用如下函數獲得圖片真實地址並保存，因爲有多頁，因此須要回調自身

 

代碼地址： https://github.com/copywang/spiders_collection/tree/master/pyspider

 

抓取效果：