python3 request 爬蟲 httplib.IncompleteRead() 問題的簡單解決方法

原由 在一個循環爬取得爬蟲中，隨機出現一個 httplib.IncompleteRead() 錯誤。python 分析 查詢了許多資料以後瞭解到，這個是因爲 chunked 編碼不完整致使，那麼如何解決這個問題？因爲這時候其實數據咱們已經拿到了，可是 http_client 認爲沒有結束，因此有這麼一個錯誤。具體分析過程能夠看看這篇博文很詳細。博文傳送門web 處理 這裏因爲項目中充斥着 Requ

>>阅读原文<<