解決爬蟲錯誤：urllib.error.URLError:

當用多線程爬取網站出現urlopen error [errno 10060]的錯誤，也就是鏈接失敗。緣由是多個線程爬去某個網站的數據，每次鏈接完須要sleep(1)一會，否則該網站服務端的防火牆會ban掉你的connect。睡眠等待機制會減小urlopen error [errno 10060]出現的機率，但訪問次數多了仍是會出現 開始的解決思路是每次鏈接的時候換用不一樣的useragent,結果

>>阅读原文<<