Python爬蟲之工做篇—尋找你的招聘信息

最近總被智聯招聘廣發騷擾，煩死我的了簡直。索性點進去看了看爬蟲工程師如今市場需求到底怎麼樣了？發展前景如何？看完了以後感受目前還不錯，根據北京來看職位需求仍是蠻多的，薪資也還行，因而就對智聯招聘職位信息的爬取發起了一次小小的挑戰，今天給你們分享一個爬取招聘網站的工做信息，效果圖以下（部分截圖）。

（更多效果圖在後面）

--------------------------

功能需求分析

--------------------------

主要功能需求以下：

• 用戶輸入工做地點和感興趣的職位信息；

• 根據指定輸入信息進行多線程的網頁爬取；

• 解析提取結構化的招聘信息；

• 將數據存入指定的數據庫；

這裏因爲篇幅和時間緣由，功能並無那麼複雜，可是博主會在後續加入更加豐富的功能，並與你們分享，包括：

• ip池的加入

• 爬取和解析效率的優化；

• 對爬取數據進行數據分析，提供可視化的統計和簡單預測；

• 其它反爬功能

--------------------------

功能實現分析

--------------------------

明白了要完成的任務，就須要開始分析咱們的目標網站了。

1. 網頁爬取分析

打開智聯招聘的搜索界面，輸入 「爬蟲」 二字爲例， 以下：

而後咱們經過fiddler抓包工具抓取瀏覽器操做時的信息以下：

1. 職位信息輸入後看到這個請求是 GET 模式，GET 請求的連接是 http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&p=1&isadv=0

2. 瀏覽器發出請求的headers頭信息，copy到代碼headers中。

因爲瀏覽器正常操做下是經過點擊「搜索按鈕」或者「回車」來進行職位搜索的，而咱們並不但願使用瀏覽器內核webdriver的使用來解決此問題。

所以，思路是：咱們須要從發出的GET請求的URL進行分析。

在瀏覽器中顯示的URL是這樣子的，有漢字。

• 「北京」 和 「爬蟲」 關鍵詞 都以漢字形式顯示。感受這和上面藍色的連接差很少同樣啊！沒錯，上面的URL是北京和爬蟲關鍵字進行編碼以後的樣子，而咱們向服務器提交的正是上面那個編碼以後的URL。

• 後面 「p=1」 的意思是第一頁，「adv=0」 經其它數字測試後沒有影響，固不作改變。

好了，捋明白了。咱們須要作的其實就是將咱們輸入的關鍵詞漢字進行編碼，而後替換掉上面藍色URL的lj=「」和kw=「」中的內容，再用這個新的URL發出請求就OK了。

2. 網頁解析分析

這是瀏覽器搜索以後獲得的結果，從招聘信息中咱們但願獲得一些有用的信息。博主這裏定義了五個字段信息：職位名稱、反饋率、公司名稱、職位月薪、工做地點。這些信息關係到你如何建立數據庫表單，後面會提到。

這裏博主決定使用BeautifulSoup方法解決網頁的解析，那麼先用F12 element看看網頁的結構再說。

博主經分析後發現，其它四個信息提取方式都是同樣的，可是工做名稱的標籤結構是有所不一樣的，爲何呢？

來，先看一條數據的標籤，它是這樣的：

再看，另外一條數據的標籤，是這樣的：

發現有什麼不一樣了嗎？第一個工做名稱的標籤裏有<b></b>，而第二個標籤裏什麼都沒有。

看看上面這兩個名稱不難發現，致使這個問題的緣由實際上是關鍵字的存在（第一個標籤中有紅色關鍵字）。

而又想到，咱們正常搜索的時候通常不會輸入完整的工做名稱，好比我只輸入 「爬蟲」 二字，因爲可能存在以上關鍵字的問題，那麼標籤的結果就會不一樣。所以，咱們須要在代碼解析的時候進行特殊處理，下面進行代碼實現分析。

--------------------------

代碼實現分析

--------------------------

因爲須要將解析後的數據存入數據庫，所以須要先在命令窗口建立一個數據庫（也能夠在Python中完成），這裏簡單提一下所需的操做。

• 使用了MySQL數據庫進行儲存

• 數據庫表單包含了以前提到的五個字段信息

下面是具體代碼的實現。

1. URL的重組實現

• 使用了property修飾器定了函數來接收用戶信息

• 將輸入信息用quote進行編碼重組，生成爬取所需的目標URL

2. html下載

• 將從新生成的URL放入函數中進行html的下載。

3. html解析

• 使用BeautifulSoup和正則表達式從網頁解析五個字段信息

4. 儲存解析數據

以上是代碼的核心內容，完整源碼博主已經上傳到Github上了，可供參考，連接https://github.com/xiaoyusmd/ZhilianJob_Crawl_Master

--------------------------

更多效果圖展現

--------------------------

展現效果圖均爲部分截圖，用於示意。

（搜索關鍵詞：廣告策劃，地理位置：北京）

（搜索關鍵詞：電子工程師，地理位置：上海）

（搜索關鍵詞：會計，地理位置：深圳）

（搜索關鍵詞：客戶經理，地理位置：廣州）

--------------------------

總結

--------------------------

• 本篇分享了一個從智聯招聘網站爬取工做信息的實戰內容，完成了需求的基本功能。

• 在此實戰內容基礎上，更多複雜和精彩功能會在後續陸續分享