python chardet簡單應用

python的字符串編碼識別模塊（第三方庫）：

官方地址：  http://pypi.python.org/pypi/chardet

 

import chardet

import urllib

 

# 可根據須要，選擇不一樣的數據

TestData = urllib.urlopen('http://www.baidu.com/').read()

print chardet.detect(TestData)

 

# 運行結果：

# {'confidence': 0.99, 'encoding': 'GB2312'}

運行結果表示有99%的機率認爲這段代碼是GB2312編碼方式。

 

import urllib

from chardet.universaldetector import UniversalDetector

usock = urllib.urlopen('http://www.baidu.com/')

# 建立一個檢測對象

detector = UniversalDetector()

for line in usock.readlines():

# 分塊進行測試，直到達到閾值

detector.feed(line)

if detector.done: break

# 關閉檢測對象

detector.close()

usock.close()

# 輸出檢測結果

print detector.result

 

# 運行結果：

# {'confidence': 0.99, 'encoding': 'GB2312'}

應用背景，若是要對一個大文件進行編碼識別，使用這種高級的方法，能夠只讀一部，去判別編碼方式從而提升檢測速度。若是但願使用一個檢測對象檢測多個數據，在每次檢測完，必定要運行一下detector.reset()。清除以前的數據。