python爬蟲日誌(3)-爬取異步加載網頁

時間 2019-12-10

原文原文鏈接

在瀏覽器檢查元素頁面中，選取Network中的XHR選項便可觀察每次加載頁面，網頁發出的請求，觀察url的規律便可利用封裝的函數對每一頁進行爬取。python

如232頁網頁的地址爲http://jandan.net/pic/page-232#comments，其中page參數就表明了第幾頁，用格式化的方法，把頁數替換掉，就能夠獲得每頁的地址了。瀏覽器

urls=['http://jandan.net/pic/page-{}#comments'.format(i) for i in range(1,100)]#這個列表包含了1-99頁的地址

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。