「拉勾網」薪資調查的小爬蟲，並將抓取結果保存到excel中

時間 2019-12-01

原文原文鏈接

學習Python也有一段時間了，各類理論知識大致上也算略知一二了，今天就進入實戰演練：經過Python來編寫一個拉勾網薪資調查的小爬蟲。python

第一步：分析網站的請求過程

咱們在查看拉勾網上的招聘信息的時候，搜索Python，或者是PHP等等的崗位信息，實際上是向服務器發出相應請求，由服務器動態的響應請求，將咱們所須要的內容經過瀏覽器解析，呈如今咱們的面前。正則表達式

能夠看到咱們發出的請求當中，FormData中的kd參數，就表明着向服務器請求關鍵詞爲Python的招聘信息。json

分析比較複雜的頁面請求與響應信息，推薦使用Fiddler，對於分析網站來講絕對是一大殺器。不過比較簡單的響應請求用瀏覽器自帶的開發者工具就能夠，好比像火狐的FireBug等等，只要輕輕一按F12，全部的請求的信息都會事無鉅細的展示在你面前。數組

經由分析網站的請求與響應過程可知，拉勾網的招聘信息都是由XHR動態傳遞的。瀏覽器

咱們發現，以POST方式發出的請求有兩個，分別是companyAjax.json和positionAjax.json，它們分別控制當前顯示的頁面和頁面中包含的招聘信息。服務器

能夠看到，咱們所須要的信息包含在positionAjax.json的Content->result當中，其中還包含了一些其餘參數信息，包括總頁面數（totalPageCount），總招聘登記數（totalCount）等相關信息。app

第二步：發送請求，獲取頁面

知道咱們所要抓取的信息在哪裏是最爲首要的，知道信息位置以後，接下來咱們就要考慮如何經過Python來模擬瀏覽器，獲取這些咱們所須要的信息。python爬蟲

 1 def read_page(url, page_num, keyword):  # 模仿瀏覽器post需求信息，並讀取返回後的頁面信息
 2     page_headers = {  3         'Host': 'www.lagou.com',  4         'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
 5                       'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',  6         'Connection': 'keep-alive'
 7  }  8     if page_num == 1:  9         boo = 'true'
10     else: 11         boo = 'false'
12     page_data = parse.urlencode([   # 經過頁面分析，發現瀏覽器提交的FormData包括如下參數
13         ('first', boo), 14         ('pn', page_num), 15         ('kd', keyword) 16  ]) 17     req = request.Request(url, headers=page_headers) 18     page = request.urlopen(req, data=page_data.encode('utf-8')).read() 19     page = page.decode('utf-8') 20     return page

其中比較關鍵的步驟在於如何仿照瀏覽器的Post方式，來包裝咱們本身的請求。框架

request包含的參數包括所要抓取的網頁url，以及用於假裝的headers。urlopen中的data參數包括FormData的三個參數(first、pn、kd)工具

包裝完畢以後，就能夠像瀏覽器同樣訪問拉勾網，並得到頁面數據了。

第三步：各取所需，獲取數據

得到頁面信息以後，咱們就能夠開始爬蟲數據中最主要的步驟：抓取數據。

抓取數據的方式有不少，像正則表達式re，lxml的etree，json，以及bs4的BeautifulSoup都是python3抓取數據的適用方法。你們能夠根據實際狀況，使用其中一個，又或多個結合使用。

 1 def read_tag(page, tag):  2     page_json = json.loads(page)  3     page_json = page_json['content']['result']  4     # 經過分析獲取的json信息可知，招聘信息包含在返回的result當中，其中包含了許多其餘參數
 5     page_result = [num for num in range(15)]  # 構造一個容量爲15的佔位list，用以構造接下來的二維數組
 6     for i in range(15):  7         page_result[i] = []  # 構造二維數組
 8         for page_tag in tag:  9             page_result[i].append(page_json[i].get(page_tag))  # 遍歷參數，將它們放置在同一個list當中
10         page_result[i][8] = ','.join(page_result[i][8]) 11     return page_result   # 返回當前頁的招聘信息

第四步：將所抓取的信息存儲到excel中

得到原始數據以後，爲了進一步的整理與分析，咱們有結構有組織的將抓取到的數據存儲到excel中，方便進行數據的可視化處理。

這裏我用了兩個不一樣的框架，分別是老牌的xlwt.Workbook、以及xlsxwriter。

 1 def save_excel(fin_result, tag_name, file_name):  2     book = Workbook(encoding='utf-8')  3     tmp = book.add_sheet('sheet')  4     times = len(fin_result)+1
 5     for i in range(times):  # i表明的是行,i+1表明的是行首信息
 6         if i == 0:  7             for tag_name_i in tag_name:  8  tmp.write(i, tag_name.index(tag_name_i), tag_name_i)  9         else: 10             for tag_list in range(len(tag_name)): 11                 tmp.write(i, tag_list, str(fin_result[i-1][tag_list])) 12     book.save(r'C:\Users\Administrator\Desktop\%s.xls' % file_name)

首先是xlwt，不知道爲何，xlwt存儲到100多條數據以後，會存儲不全，並且excel文件也會出現「部份內容有問題，須要進行修復」我檢查了不少次，一開始覺得是數據抓取的不徹底，致使的存儲問題。後來斷點檢查，發現數據是完整的。後來換了本地的數據進行處理，也沒有出現問題。我當時的心情是這樣的：

到如今我也沒弄明白，有知道的大神但願能告訴我ლ(╹ε╹ლ)　

 1 def save_excel(fin_result, tag_name, file_name):  # 將抓取到的招聘信息存儲到excel當中
 2     book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls' % file_name)  # 默認存儲在桌面上
 3     tmp = book.add_worksheet()  4     row_num = len(fin_result)  5     for i in range(1, row_num):  6         if i == 1:  7             tag_pos = 'A%s' % i  8  tmp.write_row(tag_pos, tag_name)  9         else: 10             con_pos = 'A%s' % i 11             content = fin_result[i-1]  # -1是由於被表格的表頭所佔
12  tmp.write_row(con_pos, content) 13     book.close()

這是使用xlsxwriter存儲的數據，沒有問題，能夠正常使用。

到從爲止，一個抓取拉勾網招聘信息的小爬蟲就誕生了。

附上源碼

 1 #! -*-coding:utf-8 -*-
 2 
 3 from urllib import request, parse  4 from bs4 import BeautifulSoup as BS  5 import json  6 import datetime  7 import xlsxwriter  8 
 9 starttime = datetime.datetime.now() 10 
11 url = r'http://www.lagou.com/jobs/positionAjax.json?city=%E5%8C%97%E4%BA%AC'
12 # 拉鉤網的招聘信息都是動態獲取的，因此須要經過post來遞交json信息，默認城市爲北京
13 
14 tag = ['companyName', 'companyShortName', 'positionName', 'education', 'salary', 'financeStage', 'companySize', 15        'industryField', 'companyLabelList']  # 這是須要抓取的標籤信息，包括公司名稱，學歷要求，薪資等等
16 
17 tag_name = ['公司名稱', '公司簡稱', '職位名稱', '所需學歷', '工資', '公司資質', '公司規模', '所屬類別', '公司介紹'] 18 
19 
20 def read_page(url, page_num, keyword):  # 模仿瀏覽器post需求信息，並讀取返回後的頁面信息
21     page_headers = { 22         'Host': 'www.lagou.com', 23         'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
24                       'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3', 25         'Connection': 'keep-alive'
26  } 27     if page_num == 1: 28         boo = 'true'
29     else: 30         boo = 'false'
31     page_data = parse.urlencode([   # 經過頁面分析，發現瀏覽器提交的FormData包括如下參數
32         ('first', boo), 33         ('pn', page_num), 34         ('kd', keyword) 35  ]) 36     req = request.Request(url, headers=page_headers) 37     page = request.urlopen(req, data=page_data.encode('utf-8')).read() 38     page = page.decode('utf-8') 39     return page 40 
41 
42 def read_tag(page, tag): 43     page_json = json.loads(page) 44     page_json = page_json['content']['result']  # 經過分析獲取的json信息可知，招聘信息包含在返回的result當中，其中包含了許多其餘參數
45     page_result = [num for num in range(15)]  # 構造一個容量爲15的list佔位，用以構造接下來的二維數組
46     for i in range(15): 47         page_result[i] = []  # 構造二維數組
48         for page_tag in tag: 49             page_result[i].append(page_json[i].get(page_tag))  # 遍歷參數，將它們放置在同一個list當中
50         page_result[i][8] = ','.join(page_result[i][8]) 51     return page_result   # 返回當前頁的招聘信息
52 
53 
54 def read_max_page(page):  # 獲取當前招聘關鍵詞的最大頁數，大於30的將會被覆蓋，因此最多隻能抓取30頁的招聘信息
55     page_json = json.loads(page) 56     max_page_num = page_json['content']['totalPageCount'] 57     if max_page_num > 30: 58         max_page_num = 30
59     return max_page_num 60 
61 
62 def save_excel(fin_result, tag_name, file_name):  # 將抓取到的招聘信息存儲到excel當中
63     book = xlsxwriter.Workbook(r'C:\Users\Administrator\Desktop\%s.xls' % file_name)  # 默認存儲在桌面上
64     tmp = book.add_worksheet() 65     row_num = len(fin_result) 66     for i in range(1, row_num): 67         if i == 1: 68             tag_pos = 'A%s' % i 69  tmp.write_row(tag_pos, tag_name) 70         else: 71             con_pos = 'A%s' % i 72             content = fin_result[i-1]  # -1是由於被表格的表頭所佔
73  tmp.write_row(con_pos, content) 74  book.close() 75 
76 
77 if __name__ == '__main__': 78     print('**********************************即將進行抓取**********************************') 79     keyword = input('請輸入您要搜索的語言類型：') 80     fin_result = []  # 將每頁的招聘信息彙總成一個最終的招聘信息
81     max_page_num = read_max_page(read_page(url, 1, keyword)) 82     for page_num in range(1, max_page_num): 83         print('******************************正在下載第%s頁內容*********************************' % page_num) 84         page = read_page(url, page_num, keyword) 85         page_result = read_tag(page, tag) 86  fin_result.extend(page_result) 87     file_name = input('抓取完成，輸入文件名保存：') 88  save_excel(fin_result, tag_name, file_name) 89     endtime = datetime.datetime.now() 90     time = (endtime - starttime).seconds 91     print('總共用時：%s s' % time)