如何加快爬蟲(爬取Github API的速度)

如何加快爬蟲(爬取Github API的速度) 最新 爬蟲出現問題,request失敗後,一個項目的都會break,須要再手動爬取 解決方案: 1 logging module 2 改變while,實現隊列:這頁爬完了 i+1 加到隊列中 ,爬取失敗後從新加入隊列,這樣就不用每次再開啓 參考:http://www.javashuo.com/article/p-oihszwbq-hg.html 3
相關文章
相關標籤/搜索