scrapy爬蟲時HTTPConnectionPool（host:XX）Max retries exceeded with url 解決方法

問題1：爬蟲屢次訪問同一個網站一段時間後會出現錯誤 HTTPConnectionPool（host:XX）Max retries exceeded with url '<requests.packages.urllib3.connection.HTTPConnection object at XXXX>: Failed to establish a new connection: [Errno 99] Cannot assign requested address'
緣由：是由於在每次數據傳輸前客戶端要和服務器創建TCP鏈接，爲節省傳輸消耗，默認爲keep-alive，即鏈接一次，傳輸屢次，然而在屢次訪問後不能結束並回到鏈接池中，致使不能產生新的鏈接
解決：headers中的Connection默認爲keep-alive，將header中的Connection一項置爲close

headers = {
    'Connection': 'close',
}
r = requests.get(url, data=formdata, headers=headers)

參考：https://blog.csdn.net/ZTCooper/article/details/80220063 

問題2：爬蟲屢次訪問同一個網站一段時間後會出現錯誤 HTTPConnectionPool:read time out

緣由：具體緣由還不清楚，若是有人看到而且瞭解緣由，但願能夠留言互相學習。

解決：把原來 requests.get(url, data=formdata, headers=headers, timeout=0.2)中的timeout改成0.3