Python爬蟲對知乎問題下的圖片進行爬取

知乎的反爬作得很嚴格html 1.翻頁信息在首頁的url不更新python 2.要拿到全部圖片須要翻頁,同時不能用問題首頁的url,信息所在以下圖,翻頁信息,data裏面幾乎有全部須要的信息web 3.訪問頻率限制,這嚴重影響了爬蟲的速度,我屢次用try-except作出調整,防止程序崩潰json 這就是我爬取知乎信息後的一些經驗分享,有不少不足,謝謝指正api 詳細思路在代碼和註釋中:cooki
相關文章
相關標籤/搜索