爬取網頁動態內容

這裏以這個網站爲例 https://knewone.com/ 在上下滾動中可以發現,這個網頁底端沒有下一頁按鈕,但是隨着向下翻頁,會出現新的內容,這是用js生成的,我們打開F12開發者工具 選擇Network,XHR 可以看到出現的新頁面,然後可以用requests,beautifulsoup庫進行爬取

>>阅读原文<<