如何加快爬蟲（爬取Github API的速度）

如何加快爬蟲（爬取Github API的速度） 最新 爬蟲出現問題，request失敗後，一個項目的都會break，須要再手動爬取 解決方案： 1 logging module 2 改變while，實現隊列：這頁爬完了 i+1 加到隊列中 ，爬取失敗後從新加入隊列，這樣就不用每次再開啓 參考：http://www.javashuo.com/article/p-oihszwbq-hg.html 3

>>阅读原文<<