Python爬蟲實戰之（二）| 尋找你的招聘信息

做者：xiaoyu

微信公衆號：Python數據科學

知乎：Python數據分析師

---

最近總被智聯招聘廣發騷擾，煩死我的了簡直。索性點進去看了看爬蟲工程師如今市場需求到底怎麼樣了？發展前景如何？看完了以後感受目前還不錯，根據北京來看職位需求仍是蠻多的，薪資也還行，因而就對智聯招聘職位信息的爬取發起了一次小小的挑戰，今天給你們分享一個爬取招聘網站的工做信息，效果圖以下（部分截圖）。

(更多效果圖在後面)

功能需求分析

主要功能需求以下：

• 用戶輸入工做地點和感興趣的職位信息；
• 根據指定輸入信息進行多線程的網頁爬取；
• 解析提取結構化的招聘信息；
• 將數據存入指定的數據庫；

這裏因爲篇幅和時間緣由，功能並無那麼複雜，可是博主會在後續加入更加豐富的功能，並與你們分享，包括：

• ip池的加入;
• 爬取和解析效率的優化；
• 對爬取數據進行數據分析，提供可視化的統計和簡單預測；
• 其它反爬功能;

功能實現分析

明白了要完成的任務，就須要開始分析咱們的目標網站了。

1.網頁爬取分析

打開智聯招聘的搜索界面，輸入 「爬蟲」 二字爲例， 以下：

而後咱們經過fiddler抓包工具抓取瀏覽器操做時的信息以下：

• 職位信息輸入後看到這個請求是 GET 模式，GET 請求的連接是 sou.zhaopin.com/jobs/search…
• 瀏覽器發出請求的headers頭信息，copy到代碼headers中。

因爲瀏覽器正常操做下是經過點擊「搜索按鈕」或者「回車」來進行職位搜索的，而咱們並不但願使用瀏覽器內核webdriver的使用來解決此問題。

所以，思路是：咱們須要從發出的GET請求的URL進行分析。

在瀏覽器中顯示的URL是這樣子的，有漢字。

• 「北京」 和 「爬蟲」 關鍵詞都以漢字形式顯示。感受這和上面藍色的連接差很少同樣啊！沒錯，上面的URL是北京和爬蟲關鍵字進行編碼以後的樣子，而咱們向服務器提交的正是上面那個編碼以後的URL。
• 後面 「p=1」 的意思是第一頁，「adv=0」 經其它數字測試後沒有影響，固不作改變。

好了，捋明白了。咱們須要作的其實就是將咱們輸入的關鍵詞漢字進行編碼，而後替換掉上面藍色URL的lj=「」和kw=「」中的內容，再用這個新的URL發出請求就OK了。

2.網頁解析分析

這是瀏覽器搜索以後獲得的結果，從招聘信息中咱們但願獲得一些有用的信息。博主這裏定義了五個字段信息：職位名稱、反饋率、公司名稱、職位月薪、工做地點。這些信息關係到你如何建立數據庫表單，後面會提到。

這裏博主決定使用BeautifulSoup方法解決網頁的解析，那麼先用F12 element看看網頁的結構再說。

博主經分析後發現，其它四個信息提取方式都是同樣的，可是工做名稱的標籤結構是有所不一樣的，爲何呢？

來，先看一條數據的標籤，它是這樣的：

再看，另外一條數據的標籤，是這樣的：

發現有什麼不一樣了嗎？第一個工做名稱的標籤裏有<b></b>，而第二個標籤裏什麼都沒有。

看看上面這兩個名稱不難發現，致使這個問題的緣由實際上是關鍵字的存在（第一個標籤中有紅色關鍵字）。

而又想到，咱們正常搜索的時候通常不會輸入完整的工做名稱，好比我只輸入 「爬蟲」 二字，因爲可能存在以上關鍵字的問題，那麼標籤的結果就會不一樣。所以，咱們須要在代碼解析的時候進行特殊處理，下面進行代碼實現分析。

代碼實現分析

因爲須要將解析後的數據存入數據庫，所以須要先在命令窗口建立一個數據庫（也能夠在Python中完成），這裏簡單提一下所需的操做。

• 使用了MySQL數據庫進行儲存
• 數據庫表單包含了以前提到的五個字段信息

下面是具體代碼的實現。

1.URL的重組實現

# 接收工做名稱關鍵字
    @property
    def job_name_cmd_get(self):
        return self._job_name

    @job_name_cmd_get.setter
    def job_name_cmd_get(self, job_name_input):
        if not isinstance(job_name_input, str):
            raise ValueError('請輸入正確的關鍵詞字符串')
        self._job_name = job_name_input

    # 接收輸入的工做地點
    @property
    def job_loc_cmd_get(self):
        return self._job_loc

    @job_loc_cmd_get.setter
    def job_loc_cmd_get(self, job_loc_input):
            if not isinstance(job_loc_input, str):
                raise ValueError('請輸入正確的關鍵詞字符串')
            if job_loc_input not in job_loc_list:
                print('請輸入主要的城市。')
            self._job_loc = job_loc_input

    def url_cook(self):
        """ 根據輸入工做信息拼接url :return: """
        url_crawl = self.url_base + 'jl=' + parse.quote(self._job_loc) \
                    + '&kw=' + parse.quote(self._job_name) + '&p={}&isadv=0'
        return url_crawl
複製代碼

• 使用了property修飾器定了函數來接收用戶信息
• 將輸入信息用quote進行編碼重組，生成爬取所需的目標URL

2.html下載

def html_crawl(self, url_crawl):
        """ 根據url下載網頁 :param url_crawl: :return: """
        try:
            response = request.Request(url_crawl, headers=headers)
            html_requested = request.urlopen(response)
            html_decoded = html_requested.read().decode('utf-8')
            self.html_pool.append(html_decoded)
            print('-----正在下載-----')
            sleep(3)
        except error.HTTPError as e:
            if hasattr(e, 'code'):
                print(e.code)
複製代碼

• 將從新生成的URL放入函數中進行html的下載。

3.html解析

def html_parse(self, html_docoded):
        """ 解析下載的html信息 :param html_docoded: :return: """
        job_fb = []
        job_name = []
        soup = BeautifulSoup(html_docoded, 'lxml')
        # 提取工做名稱
        for td_tag in soup.find_all('td', class_='zwmc')[1:]:
            sub_soup = BeautifulSoup(str(td_tag), 'lxml')
            if '</b>' in str(sub_soup.a):
                raw_name = re.findall(r'<a.+?>(.+?)?<b>(.+?)</b>(.+?)?</a>', str(td_tag.a))[0]
                job_name_fill = ''
                for name in raw_name:
                    if isinstance(name, str):
                        job_name_fill += name.strip()
                job_name.append(job_name_fill)
            else:
                job_name.append(sub_soup.a.string)
                # job_href.append(sub_soup.a.get('href'))
        # 提取反饋率
        for td_tag in soup.find_all('td', class_='fk_lv')[1:]:
            sub_soup = BeautifulSoup(str(td_tag), 'lxml')
            job_fb.append(sub_soup.span.string)
        # 提取公司名稱、薪水、地點
        job_company = [td_tag.a.string for td_tag in soup.find_all('td', class_='gsmc')[1:]]
        job_salary = [td_tag.string for td_tag in soup.find_all('td', class_='zwyx')[1:]]
        job_location = [td_tag.string for td_tag in soup.find_all('td', class_='gzdd')[1:]]

        self.parse_pool.append(zip(job_name, job_fb, job_company, job_salary, job_location))
複製代碼

• 使用BeautifulSoup和正則表達式從網頁解析五個字段信息。

4. 儲存解析數據

def job_info_store(self, job_info):
        """ 將工做信息儲存到數據庫裏 :param job_info: :return: """
        for elem in job_info:
            self.cur.execute("insert into jobs (job_name, feedback_rate, company_name, salary, location)"
                             " values('{}', '{}', '{}', '{}', '{}')"
                             .format(str(elem[0]), str(elem[1]), str(elem[2]), str(elem[3]), str(elem[4])))
            self.conn.commit()
複製代碼

以上是代碼的核心內容，完整源碼博主已經上傳到Github上了，可供參考，連接github.com/xiaoyusmd/Z…

更多效果圖展現

展現效果圖均爲部分截圖，用於示意。

（搜索關鍵詞：廣告策劃，地理位置：北京）

（搜索關鍵詞：電子工程師，地理位置：上海）

（搜索關鍵詞：會計，地理位置：深圳）

（搜索關鍵詞：客戶經理，地理位置：廣州）

總結

• 本篇分享了一個從智聯招聘網站爬取工做信息的實戰內容，完成了需求的基本功能。
• 在此實戰內容基礎上，更多複雜和精彩功能會在後續陸續分享

---

微信公衆號：Python數據科學

知乎：zhuanlan.zhihu.com/pypcfx

關注微信公衆號Python數據科學，獲取 120G 人工智能 學習資料。