爬蟲_處理js動態加載

 

一、selenium模塊下載網頁提取url，【煎蛋網】

http://www.javashuo.com/article/p-rweohlor-dc.html

 

二、該網頁加密了url，經過js獲取圖片。分析網頁，解碼出真實url，scrapy下載【煎蛋網】

http://www.javashuo.com/article/p-rweohlor-dc.html

分析過程http://www.javashuo.com/article/p-masccgvj-ms.html

 

三、該網頁經過js發送請求，二次獲取圖片url。經過瀏覽器審查元素，獲取相關交互數據。

https://blog.csdn.net/cxylvping/article/details/80624130