python 模塊 chardet

python 模塊 chardet下載及介紹

在處理字符串時，經常會遇到不知道字符串是何種編碼，若是不知道字符串的編碼就不能將字符串轉換成須要的編碼。面對多種不一樣編碼的輸入方式，是否會有一種有效的編碼方式？chardet是一個很是優秀的編碼識別模塊。

chardet 是python的第三方庫，須要下載和安裝。下載的地址有：

1.推薦地址：  http://download.csdn.net/download/aqwd2008/4256178 

2.官方地址： http://pypi.python.org/pypi/chardet

若是採用源代碼安裝方法，有可能會提示缺乏setuptools這個模塊。所以這裏咱們採用另一種更爲方便的安裝方法，不論你選擇哪一種安裝包，將它解壓獲得其中的文件夾【chardet】將這個文件夾複製到【python安裝根目錄\Lib\site-packages】下，確保這個位置能夠被python引用到。若是不能被引用到請加入環境變量。

在安裝完chardet模塊，我就能夠使用它了，來看一段示例代碼。

import chardet
import urllib

#可根據須要，選擇不一樣的數據
TestData = urllib.urlopen('http://www.baidu.com/').read()
print chardet.detect(TestData)

運行結果：
{'confidence': 0.99, 'encoding': 'GB2312'}

運行結果表示有99%的機率認爲這段代碼是GB2312編碼方式。

另一個相對高級的應用。

import urllib
from chardet.universaldetector import UniversalDetector
usock = urllib.urlopen('http://www.baidu.com/')
#建立一個檢測對象
detector = UniversalDetector()
for line in usock.readlines():
    #分塊進行測試，直到達到閾值
    detector.feed(line)
    if detector.done: break
#關閉檢測對象
detector.close()
usock.close()
#輸出檢測結果
print detector.result

運行結果：
{'confidence': 0.99, 'encoding': 'GB2312'}

應用背景，若是要對一個大文件進行編碼識別，使用這種高級的方法，能夠只讀一部，去判別編碼方式從而提升檢測速度。

來自：http://blog.csdn.net/aqwd2008/article/details/7506007