使用爬蟲抓取網站異步加載數據

什麼是異步加載？ 向網站進行一次請求，一次只傳部分數據。如：有些網頁不須要點擊下一頁，其內容也能夠源源不斷地加載。 如何發現異步加載？ 一、打開瀏覽器，右鍵選擇「檢查」 二、點擊「Network」、「XHR」 這樣在網頁進行不斷下拉的過程當中，顯示器會記錄所有動做。能夠看到不斷加載新的頁。 如何加載異步數據？ 具體例子： from bs4 import BeautifulSoup import r

>>阅读原文<<