檢測網頁編碼+讀取網頁內容

import chardet #字符集檢測
import urllib.request
 
# 網址
url = "http://www.baidu.com/"

def automatic_detect(url): 
    content=urllib.request.urlopen(url).read() 
    result=chardet.detect(content)
    encoding=result['encoding'] 
    return encoding 

print(url) 
print(automatic_detect(url))

# 請求
request = urllib.request.Request(url)
# 爬取結果
response = urllib.request.urlopen(request)
data = response.read()
# 設置解碼方式
data = data.decode('utf-8')

# 打印爬取網頁的各種信息
# 打印結果
print(data)
print(type(response))
print(response.geturl())
print(response.info())
print(response.getcode())

 

須要安裝chardet