Python 抓取網頁亂碼緣由分析

在用 python2 抓取網頁的時候，常常會遇到抓下來的內容顯示出來是亂碼。

發生這種狀況的最大可能性就是編碼問題： 運行環境的字符編碼和網頁的字符編碼不一致。

好比，在 windows 的控制檯（gbk）裏抓取了一個 utf-8 編碼的網站。或者，在 Mac / Linux 的終端（utf-8）裏抓取了一個 gbk 編碼的網站。由於多數網站採用 utf-8 編碼，而很多人又是用 windows，全部這種狀況至關常見。

若是你發現你抓下來的內容，看上去英文、數字、符號都是對的，但中間夾雜了一些亂碼，那基本能夠判定是此狀況。

解決這個問題的辦法就是，把結果先按網頁的編碼方式 decode 解碼成 unicode，再輸出。若是不肯定網頁的編碼，可參照如下代碼：

import urllib
req = urllib.urlopen("http://some.web.site")
info = req.info()
charset = info.getparam('charset')
content = req.read()
print content.decode(charset, 'ignore')

'ignore' 參數的做用是忽略掉沒法解碼的字符。

不過這種方法不老是有效。還有種方式就是經過正則直接匹配網頁代碼中的編碼設置：

<meta http-equiv=Content-Type content="text/html;charset=utf-8">

除了編碼問題形成亂碼以外，還有種常被忽視的狀況，就是 目標網頁啓用了 gzip 壓縮 。壓縮後的網頁傳輸數據少了，打開速度更快。在瀏覽器中打開時，瀏覽器會根據網頁的 header 信息自動作解壓。但直接用代碼抓取則不會。所以極可能就被搞糊塗了，爲何明明打開網頁地址是對的，但程序抓取就不行。連我本身也曾經被這個問題坑過。

這種狀況的表現是抓取的內容幾乎全是亂碼，甚至沒法顯示。

要判斷網頁是否啓用了壓縮並對其解壓，可參考如下代碼：

import urllib
import gzip
from StringIO import StringIO
req = urllib.urlopen("http://some.web.site")
info = req.info()
encoding = info.getheader('Content-Encoding')
content = req.read()
if encoding == 'gzip':
    buf = StringIO(content)
    gf = gzip.GzipFile(fileobj=buf)
    content = gf.read()
print content

在咱們教室的編程實例 查天氣系列(點擊查看) 中，這兩個問題困擾了至關多人。在此特別講解一下。

最後，還有個「利器」要介紹一下。若是一開始就用它，你甚至不知道還有上述兩個問題的存在。

這就是 requests 模塊。

一樣抓取網頁，只須要：

import requests
print requests.get("http://some.web.site").text

沒有編碼問題，沒有壓縮問題。

This is why I love Python.

至於如何安裝 requests 模塊，請參考以前的文章：

如何安裝 Python 的第三方模塊 - Crossin的編程教室 - 知乎專欄

pip install requests

其餘文章及回答：

[](http://crossin-forum.b0.upaiy...