[轉] python 遠程主機強迫關閉了一個現有的鏈接 socket 超時設置 errno 10054

python socket.error: [Errno 10054] 遠程主機強迫關閉了一個現有的鏈接。問題解決方案：

前幾天使用python讀取網頁。由於對一個網站大量的使用urlopen操做，因此會被那個網站認定爲攻擊行爲。有時就再也不容許下載。致使urlopen()後，request.read()一直卡死在那裏。最後會拋出errno 10054.

這個錯誤是connection reset by peer.也就是傳說的遠端主機重置了此鏈接。緣由多是socket超時時間過長；也多是request = urllib.request.urlopen(url)以後，沒有進行request.close()操做；也多是沒有sleep幾秒，致使網站認定這種行爲是攻擊。

具體解決方案以下面的代碼：

1 import socket  
2 import time  
3 timeout = 20    
4 socket.setdefaulttimeout(timeout)#這裏對整個socket層設置超時時間。後續文件中若是再使用到socket，沒必要再設置  
5 sleep_download_time = 10  
6 time.sleep(sleep_download_time) #這裏時間本身設定  
7 request = urllib.request.urlopen(url)#這裏是要讀取內容的url  
8 content = request.read()#讀取，通常會在這裏報異常  
9 request.close()#記得要關閉  

由於urlopen以後的read()操做實際上是調用了socket層的某些函數。因此設置socket缺省超時時間，就可讓網絡本身斷掉。沒必要在read()處一直等待。

固然你也能夠再外層再寫幾個try,except,例如：

 1 try:  
 2     time.sleep(self.sleep_download_time)  
 3     request = urllib.request.urlopen(url)  
 4     content = request.read()  
 5     request.close()  
 6       
 7 except UnicodeDecodeError as e:  
 8          
 9     print('-----UnicodeDecodeError url:',url)  
10       
11 except urllib.error.URLError as e:  
12     print("-----urlError url:",url)  
13   
14 except socket.timeout as e:  
15     print("-----socket timout:",url)  

通常來講就莫有問題了。我測試了幾千個網頁的下載，而後才說出此話。不過若是是下載成千上萬的，我作了下測試，ms仍是會跳出這個異常。多是time.sleep()的時間過短，也多是網絡忽然中斷。我使用urllib.request.retrieve()測試了一下，發現不停的下載數據，總會有失敗的狀況出現。

簡單的處理方法是：首先參照的個人文章：python檢查點簡單實現 。先作一個檢查點。而後將以上會跑出異常的那段代碼while True一下。參見下面的僞代碼：

 1 def Download_auto(downloadlist,fun,sleep_time=15):  
 2     while True:          
 3         try: # 外包一層try   
 4             value = fun(downloadlist,sleep_time) # 這裏的fun是你的下載函數，我當函數指針傳進來。  
 5            # 只有正常執行方能退出。  
 6             if value == Util.SUCCESS:  
 7                 break  
 8         except : # 若是發生了10054或者IOError或者XXXError  
 9             sleep_time += 5 #多睡5秒，從新執行以上的download.由於作了檢查點的緣故，上面的程序會從拋出異常的地方繼續執行。防止了由於網絡鏈接不穩定帶來的程序中斷。  
10             print('enlarge sleep time:',sleep_time)  

不過對於找不到相應的網頁，又要作另外的一番處理：

 1 # 打印下載信息  
 2 def reporthook(blocks_read, block_size, total_size):  
 3     if not blocks_read:  
 4         print ('Connection opened')  
 5     if total_size < 0:  
 6         print ('Read %d blocks' % blocks_read)  
 7     else:  
 8         # 若是找不到，頁面不存在，可能totalsize就是0，不能計算百分比  
 9         print('downloading:%d MB, totalsize:%d MB' % (blocks_read*block_size/1048576.0,total_size/1048576.0))  
10         
11   
12 def Download(path,url):  
13 #url = 'http://downloads.sourceforge.net/sourceforge/alliancep2p/Alliance-v1.0.6.jar'  
14     #filename = url.rsplit("/")[-1]  
15     try:  
16     # python自帶的下載函數  
17         urllib.request.urlretrieve(url, path, reporthook)  
18     except IOError as e: # 若是找不到，好像會引起IOError。  
19         print("download ",url,"/nerror:",e)  
20     print("Done:%s/nCopy to:%s" %(url,path))  

 

若是你們仍是遇到了問題...請再評論裏註上其餘解決方案。