Python爬蟲抓取智聯招聘（基礎版）

時間 2019-11-11

標籤 python 爬蟲抓取招聘基礎欄目 Python 简体版

原文原文鏈接

前言

文的文字及圖片來源於網絡,僅供學習、交流使用,不具備任何商業用途,版權歸原做者全部,若有問題請及時聯繫咱們以做處理。html

做者： C與Python實戰python

PS：若有須要Python學習資料的小夥伴能夠加點擊下方連接自行獲取web

http://note.youdao.com/noteshare?id=3054cce4add8a909e784ad934f956cef面試

對於每一個上班族來講，總要經歷幾回換工做，如何在網上挑到心儀的工做？如何提早爲心儀工做的面試作準備？今天咱們來抓取智聯招聘的招聘信息，助你換工做成功！正則表達式

運行平臺： Windows 數據庫
Python版本： Python3.6 瀏覽器
IDE： Sublime Text 網絡
其餘工具： Chrome瀏覽器app

一、網頁分析

1.1 分析請求地址函數

以北京海淀區的python工程師爲例進行網頁分析。打開智聯招聘首頁，選擇北京地區，在搜索框輸入"python工程師"，點擊"搜工做"：

接下來跳轉到搜索結果頁面，按"F12"打開開發者工具，而後在"熱門地區"欄選擇"海淀"，咱們看一下地址欄：

由地址欄後半部分searchresult.ashx?jl=北京&kw=python工程師&sm=0&isfilter=1&p=1&re=2005能夠看出，咱們要本身構造地址了。接下來要對開發者工具進行分析，按照如圖所示步驟找到咱們須要的數據：Request Headers和Query String Parameters ：構造請求地址：

 1 paras = {
 2    'jl': '北京',                # 搜索城市
 3    'kw': 'python工程師',        # 搜索關鍵詞 
 4    'isadv': 0,                    # 是否打開更詳細搜索選項
 5    'isfilter': 1,                # 是否對結果過濾
 6    'p': 1,                        # 頁數
 7    're': 2005                    # region的縮寫，地區，2005表明海淀
 8 }
 9 
10 url = 'https://sou.zhaopin.com/jobs/searchresult.ashx?' + urlencode(paras)

請求頭：

1 headers = {
2    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
3    'Host': 'sou.zhaopin.com',
4    'Referer': 'https://www.zhaopin.com/',
5    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
6    'Accept-Encoding': 'gzip, deflate, br',
7    'Accept-Language': 'zh-CN,zh;q=0.9'
8 }

1.2 分析有用數據

接下來咱們要分析有用數據，從搜索結果中咱們須要的數據有：職位名稱、公司名稱、公司詳情頁地址、職位月薪：

經過網頁元素定位找到這幾項在HTML文件中的位置，以下圖所示：

用正則表達式對這四項內容進行提取：

# 正則表達式進行解析
pattern = re.compile('<a style=.*? target="_blank">(.*?)</a>.*?'        # 匹配職位信息
   '<td class="gsmc"><a href="(.*?)" target="_blank">(.*?)</a>.*?'     # 匹配公司網址和公司名稱
   '<td class="zwyx">(.*?)</td>', re.S)                                # 匹配月薪      

# 匹配全部符合條件的內容
items = re.findall(pattern, html)

注意：解析出來的部分職位名稱帶有標籤，以下圖所示：

那麼在解析以後要對該數據進行處理剔除標籤，用以下代碼實現：

for item in items:
   job_name = item[0]
   job_name = job_name.replace('<b>', '')
   job_name = job_name.replace('</b>', '')
   yield {
       'job': job_name,
       'website': item[1],
       'company': item[2],
       'salary': item[3]
   }

二、寫入文件

咱們獲取到的數據每一個職位的信息項都相同，能夠寫到數據庫中，可是本文選擇了csv文件，如下爲百度百科解釋：

逗號分隔值（Comma-Separated Values，CSV，有時也稱爲字符分隔值，由於分隔字符也能夠不是逗號），其文件以純文本形式存儲表格數據（數字和文本）。純文本意味着該文件是一個字符序列，不含必須像二進制數字那樣被解讀的數據

因爲python內置了csv文件操做的庫函數，因此很方便：

import csv
def write_csv_headers(path, headers):
   '''
   寫入表頭
   '''
   with open(path, 'a', encoding='gb18030', newline='') as f:
       f_csv = csv.DictWriter(f, headers)
       f_csv.writeheader()

def write_csv_rows(path, headers, rows):
   '''
   寫入行
   '''
   with open(path, 'a', encoding='gb18030', newline='') as f:
       f_csv = csv.DictWriter(f, headers)
       f_csv.writerows(rows)

三、進度顯示

要想找到理想工做，必定要對更多的職位進行篩選，那麼咱們抓取的數據量必定很大，幾十頁、幾百頁甚至幾千頁，那麼咱們要掌握抓取進度內心才能更加踏實啊，因此要加入進度條顯示功能。

本文選擇tqdm 進行進度顯示，來看一下酷炫結果（圖片來源網絡）：

執行如下命令進行安裝：

pip install tqdm

簡單示例：

from tqdm import tqdm
from time import sleep

for i in tqdm(range(1000)):
   sleep(0.01)

四、完整代碼

以上是全部功能的分析，以下爲完整代碼：

  1 #-*- coding: utf-8 -*-
  2 import re
  3 import csv
  4 import requests
  5 from tqdm import tqdm
  6 from urllib.parse import urlencode
  7 from requests.exceptions import RequestException
  8 
  9 def get_one_page(city, keyword, region, page):
 10    '''
 11    獲取網頁html內容並返回
 12    '''
 13    paras = {
 14        'jl': city,         # 搜索城市
 15        'kw': keyword,      # 搜索關鍵詞 
 16        'isadv': 0,         # 是否打開更詳細搜索選項
 17        'isfilter': 1,      # 是否對結果過濾
 18        'p': page,          # 頁數
 19        're': region        # region的縮寫，地區，2005表明海淀
 20    }
 21 
 22    headers = {
 23        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
 24        'Host': 'sou.zhaopin.com',
 25        'Referer': 'https://www.zhaopin.com/',
 26        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
 27        'Accept-Encoding': 'gzip, deflate, br',
 28        'Accept-Language': 'zh-CN,zh;q=0.9'
 29    }
 30 
 31    url = 'https://sou.zhaopin.com/jobs/searchresult.ashx?' + urlencode(paras)
 32    try:
 33        # 獲取網頁內容，返回html數據
 34        response = requests.get(url, headers=headers)
 35        # 經過狀態碼判斷是否獲取成功
 36        if response.status_code == 200:
 37            return response.text
 38        return None
 39    except RequestException as e:
 40        return None
 41 
 42 def parse_one_page(html):
 43    '''
 44    解析HTML代碼，提取有用信息並返回
 45    '''
 46    # 正則表達式進行解析
 47    pattern = re.compile('<a style=.*? target="_blank">(.*?)</a>.*?'        # 匹配職位信息
 48        '<td class="gsmc"><a href="(.*?)" target="_blank">(.*?)</a>.*?'     # 匹配公司網址和公司名稱
 49        '<td class="zwyx">(.*?)</td>', re.S)                                # 匹配月薪      
 50 
 51    # 匹配全部符合條件的內容
 52    items = re.findall(pattern, html)   
 53 
 54    for item in items:
 55        job_name = item[0]
 56        job_name = job_name.replace('<b>', '')
 57        job_name = job_name.replace('</b>', '')
 58        yield {
 59            'job': job_name,
 60            'website': item[1],
 61            'company': item[2],
 62            'salary': item[3]
 63        }
 64 
 65 def write_csv_file(path, headers, rows):
 66    '''
 67    將表頭和行寫入csv文件
 68    '''
 69    # 加入encoding防止中文寫入報錯
 70    # newline參數防止每寫入一行都多一個空行
 71    with open(path, 'a', encoding='gb18030', newline='') as f:
 72        f_csv = csv.DictWriter(f, headers)
 73        f_csv.writeheader()
 74        f_csv.writerows(rows)
 75 
 76 def write_csv_headers(path, headers):
 77    '''
 78    寫入表頭
 79    '''
 80    with open(path, 'a', encoding='gb18030', newline='') as f:
 81        f_csv = csv.DictWriter(f, headers)
 82        f_csv.writeheader()
 83 
 84 def write_csv_rows(path, headers, rows):
 85    '''
 86    寫入行
 87    '''
 88    with open(path, 'a', encoding='gb18030', newline='') as f:
 89        f_csv = csv.DictWriter(f, headers)
 90        f_csv.writerows(rows)
 91 
 92 def main(city, keyword, region, pages):
 93    '''
 94    主函數
 95    '''
 96    filename = 'zl_' + city + '_' + keyword + '.csv'
 97    headers = ['job', 'website', 'company', 'salary']
 98    write_csv_headers(filename, headers)
 99    for i in tqdm(range(pages)):
100        '''
101        獲取該頁中全部職位信息，寫入csv文件
102        '''
103        jobs = []
104        html = get_one_page(city, keyword, region, i)
105        items = parse_one_page(html)
106        for item in items:
107            jobs.append(item)
108        write_csv_rows(filename, headers, jobs)
109 
110 if __name__ == '__main__':
111    main('北京', 'python工程師', 2005, 10)