urlopen error [errno 10060]的解決思路

當用多線程爬取某個網站的數據的時候，爬取一段時間後，總出現urlopen error [errno 10060]的錯誤，結果線程無故的被掛掉，一開始的解決思路是每次鏈接的時候換用不一樣的useragent,結果仍是出現這種問題，在網上查了下，看到網上別人的經驗，原來是 若是用多個線程爬去某個網站的數據，每次鏈接完的時候，須要sleep(1)一會，否則該網站服務端的防火牆會ban掉你的connect

>>阅读原文<<