02_輸入檢索詞自動爬取百度搜索頁標題信息

背景：
在百度每次輸入關鍵詞檢索後，會出現不少的檢索頁，不利於有效閱讀，
爲更方便收集檢索信息，編寫了一個能夠收集每一個檢索頁與檢索詞相關的十條檢索信息（百度在每一個檢索頁放置十條檢索標題信息）。
能夠根據須要選擇爬取多少檢索頁，經過修改main()函數的depth變量

 1 import urllib.request
 2 import re
 3 
 4 def get_html_text(url,data_lst,depth):  5  
 7     for i in range(depth):
 8         
 9         # 根據分析構造網址
10         url_kw = url + '&pn=' + str(i*10) #切記：這裏不能使用'i*10'來表示，若是那樣的話將沒法將i經過for循環傳遞參數。
11         
12         # 獲取每頁的網頁數據
13         data = urllib.request.urlopen(url_kw).read().decode('utf-8', 'ignore')
14         
15         # 測試代碼：print(len(data))
16         print('正在爬取第',str(i+1),'頁網頁信息')
17         
18         # 構造正則表達式，提取目標信息
19         html_title_pat = '"title":"(.*?)"'
20         title_info = re.compile(html_title_pat, re.S).findall(data)
21         # 測試代碼：print(len(title_info))
22         for i in range(0,len(title_info)):
23             print('第'+str(i+1) + '條網頁標題:' + str(title_info[i]))
24             print('-'*20)
25             data_lst.append(title_info[i])
26 
27         
28 def main(): 29     keyword = input('請輸入要檢索的關鍵詞：')
30     
31     # #對關鍵詞進行編碼，由於URL中須要對中文等進行處理.
32     # 咱們平時輸入網址的時候有漢字是由於搜索框會自動解析漢字，可是python不會，因此咱們須要對關鍵詞進行編碼。
33     key_code = urllib.request.quote(keyword) # 對關鍵詞編碼
34     
35     url = 'http://www.baidu.com/s?&ie=utf-8&wd='+ key_code
36     depth = 5 # 爬取網頁的深度，能夠自行設置
37     data_lst = list()
38     get_html_text(url,data_lst,depth)
39 　　
　　　　# 保存到本地路徑
40     with open('baidu_keyword.txt', 'a', encoding='utf-8') as f:
41         data_raw = [str(i) for i in data_lst] #使用列表推導式保證列表內的每一個元素都是字符串，由於文件寫入時要求每一個元素都是字符串格式。 42         #data_content = ' '.join(data_raw)
43         for i in data_raw:
44             f.write(i+'\n') #‘\n’寫入一條信息就進行換行，使爬取的數據規整 45 
46 
47 if __name__ == '__main__':
48     main()

請輸入要檢索的關鍵詞：清華大學
檢索的文本信息截取
- 職業圈清華大學
清華大學信息門戶系統
清華大學本科招生網
清華大學研究生招生網
清華大學百年校慶_百度百科
清華大學 - Tsinghua University
清華大學學生職業發展指導中心
清華校友網 
清華大學學生職業發展指導中心
清華大學地球系統科學系-首頁
清華大學新聞網 - 清華人物
Tsinghua University
清華大學法學院
清華大學教育研究院
清華大學環境學院
清華大學
清華大學_清華大學錄取分數線,專業介紹,圖片_新浪院校庫_新浪教育
清華大學bbs 水木社區-源於清華的高知社羣
北京清華大學攻略,清華大學門票_地址,清華大學遊覽攻略 - 馬蜂窩
清華大學吧-百度貼吧 
供應室平臺_助力科研,讓世界更美好 
【清華大學】清華大學招聘|待遇|面試|怎麼樣-看準網
清華大學開源軟件鏡像站 | Tsinghua Open Source Mirror
清華大學精密儀器系 - 首頁 
清華大學科技園
浙江清華長三角研究院
清華大學精密儀器系 - 首頁 
清華x-lab - 清華大學創意創新創業教育平臺
清華大學經濟管理學院
清華大學建築學院景觀學系
清華大學簡介_清華大學介紹 
深圳清華大學研究院
2019北京清華大學校園概況-清華大學自助遊-清華大學門票交通天氣...
清華大學量子信息中心
清華大學歷史研究所
清華大學
2018清華大學錄取分數線_清華大學各省高考分數線_高考院校庫
北京清華大學攻略,北京清華大學門票/遊玩攻略/地址/圖片/門..._攜程
★清華大學校園招聘-2018年清華大學校園招聘會
清華大學專升本 - 育鵬專升本教育信息網
清華大學門票,清華大學門票價格,清華大學門票團購【攜程門票】
清華大學卡內基全球政策中心
清華大學歷史研究所
清華大學在職研究生_中國在職研究生招生信息網
清華大學量子信息中心