python socket 超時設置 errno10054

python socket.error: [Errno 10054] 遠程主機強迫關閉了一個現有的鏈接。問題解決方案：

前幾天使用python讀取網頁。由於對一個網站大量的使用urlopen操做，因此會被那個網站認定爲攻擊行爲。有時就再也不容許下載。致使urlopen()後，request.read()一直卡死在那裏。最後會拋出errno 10054.

這 個錯誤是connection reset by peer.也就是傳說的遠端主機重置了此鏈接。緣由多是socket超時時間過長；也多是request = urllib.request.urlopen(url)以後，沒有進行request.close()操做；也多是沒有sleep幾秒，致使網站認定 這種行爲是攻擊。

具體解決方案以下面的代碼：

import socket  
import time  
timeout = 20    
socket.setdefaulttimeout(timeout)#這裏對整個socket層設置超時時間。後續文件中若是再使用到socket，沒必要再設置  
sleep_download_time = 10 
time.sleep(sleep_download_time) #這裏時間本身設定  
request = urllib.request.urlopen(url)#這裏是要讀取內容的url  
content = request.read()#讀取，通常會在這裏報異常  
request.close()#記得要關閉 
import socket
import time
timeout = 20 
socket.setdefaulttimeout(timeout)#這裏對整個socket層設置超時時間。後續文件中若是再使用到socket，沒必要再設置
sleep_download_time = 10
time.sleep(sleep_download_time) #這裏時間本身設定
request = urllib.request.urlopen(url)#這裏是要讀取內容的url
content = request.read()#讀取，通常會在這裏報異常
request.close()#記得要關閉

 

由於urlopen以後的read()操做實際上是調用了socket層的某些函數。因此設置socket缺省超時時間，就可讓網絡本身斷掉。沒必要在read()處一直等待。

固然你也能夠再外層再寫幾個try,except,例如：

try:  
    time.sleep(self.sleep_download_time)  
    request = urllib.request.urlopen(url)  
    content = request.read()  
    request.close()  
      
except UnicodeDecodeError as e:  
         
    print('-----UnicodeDecodeErrorurl:',url)  
      
except urllib.error.URLError as e:  
    print("-----urlErrorurl:",url)  
 
except socket.timeout as e:  
    print("-----socket timout:",url) 
        try:
            time.sleep(self.sleep_download_time)
            request = urllib.request.urlopen(url)
            content = request.read()
            request.close()
           
        except UnicodeDecodeError as e:
              
            print('-----UnicodeDecodeErrorurl:',url)
           
        except urllib.error.URLError as e:
            print("-----urlErrorurl:",url)
  
        except socket.timeout as e:
            print("-----socket timout:",url)

 

一 般來講就莫有問題了。我測試了幾千個網頁的下載，而後才說出此話。不過若是是下載成千上萬的，我作了下測試，ms仍是會跳出這個異常。多是 time.sleep()的時間過短，也多是網絡忽然中斷。我使用urllib.request.retrieve()測試了一下，發現不停的下載數 據，總會有失敗的狀況出現。

簡單的處理方法是：首先參照的個人文章：python檢查點簡單實現 。先作一個檢查點。而後將以上會跑出異常的那段代碼while True一下。參見下面的僞代碼：

def Download_auto(downloadlist,fun,sleep_time=15):  
    while True:          
        try: # 外包一層try   
            value = fun(downloadlist,sleep_time) # 這裏的fun是你的下載函數，我當函數指針傳進來。 
           # 只有正常執行方能退出。  
            if value == Util.SUCCESS:  
                break 
        except : # 若是發生了10054或者IOError或者XXXError  
            sleep_time += 5 #多睡5秒，從新執行以上的download.由於作了檢查點的緣故，上面的程序會從拋出異常的地方繼續執行。防止了由於網絡鏈接不穩定帶來的程序中斷。  
            print('enlarge sleep time:',sleep_time) 
def Download_auto(downloadlist,fun,sleep_time=15):
    while True:       
        try: # 外包一層try
            value = fun(downloadlist,sleep_time) # 這裏的fun是你的下載函數，我當函數指針傳進來。
           # 只有正常執行方能退出。
            if value == Util.SUCCESS:
                break
        except : # 若是發生了10054或者IOError或者XXXError
            sleep_time += 5 #多睡5秒，從新執行以上的download.由於作了檢查點的緣故，上面的程序會從拋出異常的地方繼續執行。防止了由於網絡鏈接不穩定帶來的程序中斷。
            print('enlarge sleep time:',sleep_time)

 

不過對於找不到相應的網頁，又要作另外的一番處理：

# 打印下載信息  
def reporthook(blocks_read, block_size, total_size):  
    if not blocks_read:  
        print ('Connection opened')  
    if total_size < 0:  
        print ('Read %d blocks' % blocks_read)  
    else: 
        # 若是找不到，頁面不存在，可能totalsize就是0，不能計算百分比  
        print('downloading:%d MB, totalsize:%d MB' % (blocks_read*block_size/1048576.0,total_size/1048576.0))  
        
 
def Download(path,url): 
#url = 'http://downloads.sourceforge.net/sourceforge/alliancep2p/Alliance-v1.0.6.jar' 
    #filename = url.rsplit("/")[-1]  
    try: 
    # python自帶的下載函數  
        urllib.request.urlretrieve(url, path, reporthook)  
    except IOError as e: # 若是找不到，好像會引起IOError。  
        print("download ",url,"\nerror:",e)  
    print("Done:%s\nCopy to:%s" %(url,path)) 
# 打印下載信息
def reporthook(blocks_read, block_size, total_size):
    if not blocks_read:
        print ('Connection opened')
    if total_size < 0:
        print ('Read %d blocks' % blocks_read)
    else:
        # 若是找不到，頁面不存在，可能totalsize就是0，不能計算百分比
        print('downloading:%d MB, totalsize:%d MB' % (blocks_read*block_size/1048576.0,total_size/1048576.0))
     

def Download(path,url):
#url = 'http://downloads.sourceforge.net/sourceforge/alliancep2p/Alliance-v1.0.6.jar'
    #filename = url.rsplit("/")[-1]
    try:
    # python自帶的下載函數
        urllib.request.urlretrieve(url, path, reporthook)
    except IOError as e: # 若是找不到，好像會引起IOError。
        print("download ",url,"\nerror:",e)
    print("Done:%s\nCopy to:%s" %(url,path))

 

若是你們仍是遇到了問題...請再評論裏註上其餘解決方案。

 

原網址：http://www.cnblogs.com/mmix2009/archive/2013/07/30/3224954.html