python 使用 requests 庫, 抓取 網站, chunk 報 IncompleteRead異常解決方案

1. 首先在網上搜, 搜到 http://blog.csdn.net/wangzuxi/article/details/40377467  python requests接收chunked編碼問題  這篇文章, 按文中所說 加斷點, 發現攔截不到

2. 只能本身一點一點跟蹤, 發現

requests\packages\urllib3\response.py 故障點在這
535 行 收到"" chunk 報異常

try:
            self.chunk_left = int(line, 16) #zn123 chunk="" raise Exception
        except ValueError:
            # Invalid chunked protocol response, abort.
            self.close()
            raise httplib.IncompleteRead(line)

同樣的問題, 對方服務器返回chunk塊不標準, 不返回 0\r\n\r\n

只能修改這個庫

判斷一下line 是否爲"", 及解決了這個bug