爬蟲獲取ajax異步請求的html內容

使用爬蟲時有時會發現瀏覽器中看到的html內容在程序get()的結果中看不到，這是因爲頁面中使用了ajax技術，即在加載頁面時不一次性發出所有內容，瀏覽器收到第一次發出的頁面內容後運行其中的程序，再向服務器請求部分內容構成完整頁面，用爬蟲只能得到第一次發出的html，導致無法得到所需內容。 此處::befer和::after之間的部分在使用爬蟲的get()方法得到的html中看不到，因爲這是異步加

>>阅读原文<<