爬蟲簡單基礎代碼

如下代碼能夠去掉註釋單獨運行：

 1 import urllib.request
 2 
 3 url = 'http://www.jianshu.com/'
 4 response = urllib.request.urlopen(url=url) #第一個參數是要打開的url 第二個是data表示post請求時 使用的 print(type(response))\
 5 #   #返回的是一個HTTPResponse對象
 6 # print(response.read())   #讀取了全部網頁的內容 包括換行符和製表符，獲取的二進制數據
 7 # print(response.read().decode('utf-8')) #解碼後進行輸出  #字符串-》字節：編碼  encode()  字節-》字符串：解碼  decode()
 8 # print(response.readline())  #讀取一行
 9 # print(response.readlines())  #讀取所有返回一個列表
10 # print(response.getheaders())  #返回一個響應頭信息，列表裏面有元組
11 # urllib.request.urlretrieve(url=url,filename='baidu.html') #將文件下載到本地並命名，能夠下載網頁 圖片 視頻等
12 # urllib.parse #處理url的urllib.parse.urlencode 介紹post請求的時候再說這個函數
13 print(response.getheaders())
14 #編碼:由於瀏覽器並不能識別你請求裏面的中文字符
15 # 編碼
16 # string = urllib.parse.quote('http://www.baidu.com?username=狗蛋&password=123')
17 # print(string)
18 #解碼
19 # string = urllib.parse.unquote('http%3A//www.baidu.com%3Fusername%3D%E7%8B%97%E8%9B%8B%26password%3D123')
20 # print(string)