記爬蟲小分隊(二)

2017年4月19日,關於簡書收錄專題爬取的思路。 1.首先是異步加載,這裏就不多說,就是找包,下圖爲收錄專題的加載的包。 2.可在Preview中看到json數據的格式,我們可以看到一個total_page,這個爲收錄專題的總頁數(非常重要!!!!)。 3.url中有一串數字,我們返回簡書七日熱門首頁,發現數字對應的是每個文章的,嘿嘿,快誇我! 總結 先從首頁抓取data-note-id構造收錄
相關文章
相關標籤/搜索