Python3假裝瀏覽器爬蟲讀取網頁內容

小弟最近學習Python,遇到解析HTML相關的,我忽然就想到了Python,用Python實現應該不難吧,因而我開始試着用Python讀取網頁內容,不過過程有點糾結。

有些網站加了保護,CSDN、***、等等不少網站都這樣,這就必需要假裝瀏覽器正常訪問了,相似蜘蛛爬蟲同樣,那麼只有給代碼加上一個Header,再試試讀取HTML。

聲明:如下代碼在Python 3.3中編寫調試完成!

有什麼問題還請各位指正,小弟也好學習!
來OSC這麼久了,第一篇文章,祝你們新年快樂!紅包多多!!!


原來想這樣實現:

import urllib.request
url = "http://www.oschina.net/"
data = urllib.request.urlopen(url).read()
print(data)

後來是這樣:

'''
Created on 2013-1-27
@author: isaced
''' 
import urllib.request

url = "http://www.oschina.net/"
headers = ('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11')

opener = urllib.request.build_opener()
opener.addheaders = [headers]
data = opener.open(url).read()

print(data)

原文連接:  isaced
相關文章
相關標籤/搜索