網絡爬蟲之scrapy爬取某招聘網手機APP發佈信息

時間 2019-11-29

標籤網絡爬蟲 scrapy 招聘手機 app 發佈信息欄目系統網絡简体版

原文原文鏈接

1 引言

過段時間要開始找新工做了，爬取一些崗位信息來分析一下吧。目前主流的招聘網站包括前程無憂、智聯、BOSS直聘、拉勾等等。有段時間時間沒爬取手機APP了，此次寫一個爬蟲爬取前程無憂手機APP崗位信息，其餘招聘網站後續再更新補上……php

所用工具（技術）：html

IDE：pycharmjava

Database：MySQLpython

抓包工具：Fiddlermysql

爬蟲框架：scrapy==1.5.0git

信息抓取：scrapy內置的Selectorgithub

2 APP抓包分析

咱們先來感覺一下前程無憂的APP，當咱們在首頁輸入搜索關鍵詞點擊搜索以後APP就會跳轉到新的頁面，這個頁面咱們姑且稱之爲一級頁面。一級頁面展現着咱們所想找查看的全部崗位列表。web

　　當咱們點擊其中一條崗位信息後，APP又會跳轉到一個新的頁面，我把這個頁面稱之爲二級頁面。二級頁面有咱們須要的全部崗位信息，也是咱們的主要採集目前頁面。sql

分析完頁面以後，接下來就能夠對前程無憂手機APP的請求（request）和回覆（response）進行分析了。本文所使用的抓包工具爲Fiddler，關於如何使用Fiddler，請查看本文的博客《網絡爬蟲中Fiddler抓取PC端網頁數據包與手機端APP數據包》，在該博文中已對如何配置Fiddler及如何抓取手機APP數據包進行了詳細的介紹。連接以下：數據庫

http://www.javashuo.com/article/p-ahhfrerz-z.html

本文的目的是抓取前程無憂APP上搜索某個關鍵詞時返回的全部招聘信息，本文以「Python」爲例進行說明。APP上操做以下圖所示，輸入「Python」關鍵詞後，點擊搜索，隨後Fiddler抓取到4個數據包，以下所示：

事實上，當看到第2和第4個數據包的圖標時，咱們就應該會心一笑。這兩個圖標分別表明傳輸的是json和xml格式的數據，而不少web接口就是以這兩種格式來傳輸數據的，手機APP也不列外。選中第2個數據包，而後在右側主窗口中查看，發現第二個數據包並無咱們想要的數據。在看看第4個數據包，選中後在右側窗體，能夠看到如下內容：

右下角的內容不就是在手機上看到的招聘信息嗎，仍是以XML的格式來傳輸的。咱們將這個數據包的連接複製下來：

　　https://appapi.51job.com/api/job/search_job_list.php?postchannel=0000&&keyword=Python&keywordtype=2&jobarea=000000&searchid=&famoustype=&pageno=1&pagesize=30&accountid=&key=&productname=51job&partner=8785419449a858b3314197b60d54d9c6&uuid=6b21f77c7af3aa83a5c636792ba087c2&version=845&guid=bbb37e8f266b9de9e2a9fbe3bb81c3d0

咱們爬取的時候確定不會只爬取一個頁面的信息，咱們在APP上把頁面往下滑，看看Fiddler會抓取到什麼數據包。看下圖：

手機屏幕往下滑動後，Fiddler又抓取到兩個數據包，並且第二個數據包選中看再次發現就是APP上新刷新的招聘信息，再把這個數據包的url連接複製下來：

　　https://appapi.51job.com/api/job/search_job_list.php?postchannel=0000&&keyword=Python&keywordtype=2&jobarea=000000&searchid=&famoustype=&pageno=2&pagesize=30&accountid=&key=&productname=51job&partner=8785419449a858b3314197b60d54d9c6&uuid=6b21f77c7af3aa83a5c636792ba087c2&version=845&guid=bbb37e8f266b9de9e2a9fbe3bb81c3d0

接下來，咱們比對一下先後兩個連接，分析其中的異同。能夠看出，除了「pageno」這個屬性外，其餘都同樣。沒錯，就是在上面標紅的地方。第一個數據包連接中pageno值爲1，第二個pageno值爲2，這下翻頁的規律就一目瞭然了。

　　既然咱們已經找到了APP翻頁的請求連接規律，咱們就能夠在爬蟲中經過循環賦值給pageno，實現模擬翻頁的功能。

咱們再嘗試一下改變搜索的關鍵詞看看連接有什麼變化，以「java」爲關鍵詞，抓取到的數據包爲：

https://appapi.51job.com/api/job/search_job_list.php?postchannel=0000&&keyword=java&keywordtype=2&jobarea=000000&searchid=&famoustype=&pageno=1&pagesize=30&accountid=&key=&productname=51job&partner=8785419449a858b3314197b60d54d9c6&uuid=6b21f77c7af3aa83a5c636792ba087c2&version=845&guid=bbb37e8f266b9de9e2a9fbe3bb81c3d0

對比後發現，連接中也只有keyword的值不同，並且值就是咱們在本身輸入的關鍵詞。因此在爬蟲中，咱們徹底能夠經過字符串拼接來實現輸入關鍵詞模擬，從而採集不一樣類型的招聘信息。同理，你能夠對求職地點等信息的規律進行尋找，本文不在敘述。

解決翻頁功能以後，咱們再去探究一下數據包中XML裏面的內容。咱們把上面的第一個連接複製到瀏覽器上打開，打開後畫面以下：

這樣看着就舒服多了。經過仔細觀察咱們會發現，APP上每一條招聘信息都對應着一個<item>標籤，每個<itme>裏面都有一個<jobid>標籤，裏面有一個id標識着一個崗位。例如上面第一條崗位是<jobid>109384390</jobid>，第二條崗位是<jobid>109381483</jobid>，記住這個id，後面會用到。

　　事實上，接下來，咱們點擊第一條招聘信息，進入二級頁面。這時候，Fiddler會採集到APP剛發送的數據包，點擊其中的xml數據包，發現就是APP上剛刷新的頁面信息。咱們將數據包的url連接複製出來：

　　https://appapi.51job.com/api/job/get_job_info.php?jobid=109384390&accountid=&key=&from=searchjoblist&jobtype=0100&productname=51job&partner=8785419449a858b3314197b60d54d9c6&uuid=6b21f77c7af3aa83a5c636792ba087c2&version=845&guid=bbb37e8f266b9de9e2a9fbe3bb81c3d0

　　如法炮製點開一級頁面中列表的第二條招聘，而後從Fiddler中複製出對應數據包的url連接：

　　https://appapi.51job.com/api/job/get_job_info.php?jobid=109381483&accountid=&key=&from=searchjoblist&jobtype=0100&productname=51job&partner=8785419449a858b3314197b60d54d9c6&uuid=6b21f77c7af3aa83a5c636792ba087c2&version=845&guid=bbb37e8f266b9de9e2a9fbe3bb81c3d0

　　對比上面兩個連接，發現規律沒？沒錯，就是jobid不一樣，其餘都同樣。這個jobid就是咱們在一級頁面的xml中發現的jobid。由此，咱們就能夠在一級頁面中抓取出jobid來構造出二級頁面的url連接，而後採集出咱們所須要的全部信息。整個爬蟲邏輯就清晰了：

構造一級頁面初始url->採集jobid->構造二級頁面url->抓取崗位信息->經過循環模擬翻頁獲取下一頁面的url。

好了，分析工做完成了，開始動手寫爬蟲了。

3 編寫爬蟲

本文編寫前程無憂手機APP網絡爬蟲用的是Scrapy框架，下載好scrapy第三方包後，經過命令行建立爬蟲項目：

  scrapy startproject job_spider .

job_spider就是咱們本次爬蟲項目的項目名稱，在項目名後面有一個「.」，這個點無關緊要，區別是在當前文件之間建立項目仍是建立一個與項目名同名的文件而後在文件內建立項目。

建立好項目後，繼續建立一個爬蟲，專用於爬取前程無憂發佈的招聘信息。建立爬蟲命名以下：

　　scrapy genspider qcwySpider appapi.51job.com

注意：若是你在建立爬蟲項目的時候沒有在項目名後面加「.」，請先進入項目文件夾以後再運行命令建立爬蟲。

經過pycharm打開剛建立好的爬蟲項目，左側目錄樹結構以下：

在開始一切爬蟲工做以前，先打開settings.py文件，而後取消「ROBOTSTXT_OBEY = False」這一行的註釋，並將其值改成False。

# Obey robots.txt rules

ROBOTSTXT_OBEY = False

　　完成上述修改後，打開spiders包下的qcwySpider.py，初始代碼以下：

# -*- coding: utf-8 -*-

import scrapy


class QcwyspiderSpider(scrapy.Spider):

    name = 'qcwySpider'

    allowed_domains = ['appapi.51job.com']

    start_urls = ['http://appapi.51job.com/']

 
    def parse(self, response):

        pass

　　這是scrapy爲咱們搭好的框架，咱們只須要在這個基礎上去完善咱們的爬蟲便可。

　　首先咱們須要在類中添加一些屬性，例如搜索關鍵詞keyword、起始頁、想要爬取得最大頁數，同時也須要設置headers進行簡單的反爬。另外，starturl也須要從新設置爲第一頁的url。更改後代碼以下：

name = 'qcwySpider'

    keyword = 'python'

    current_page = 1

    max_page = 100

    headers = {

                'Accept': 'text / html, application / xhtml + xml, application / xml;',

                'Accept-Language': 'zh-CN,zh;q=0.9',

                'Connection': 'keep-alive',

                'Host': 'appapi.51job.com',

                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',

    }

    allowed_domains = ['appapi.51job.com']

    start_urls = ['https://appapi.51job.com/api/job/search_job_list.php?postchannel=0000&&keyword='+str(keyword)+

                  '&keywordtype=2&jobarea=000000&searchid=&famoustype=&pageno=1&pagesize=30&accountid=97932608&key=a8c33db43f42530fbda2f2dac7a6f48d5c1c853a&productname=51job&partner=8785419449a858b3314197b60d54d9c6&uuid=6b21f77c7af3aa83a5c636792ba087c2&version=845&guid=bbb37e8f266b9de9e2a9fbe3bb81c3d0']

而後開始編寫parse方法爬取一級頁面，在一級頁面中，咱們主要邏輯是經過循環實現APP中屏幕下滑更新，咱們用上面代碼中的current_page來標識當前頁頁碼，每次循環後，current_page加1，而後構造新的url，經過回調parse方法爬取下一頁。另外，咱們還須要在parse方法中在一級頁面中採集出jobid，並構造出二級頁面的，回調實現二級頁面信息採集的parse_job方法。parse方法代碼以下：

    def parse(self, response):
        """

        經過循環的方式實現一級頁面翻頁，並採集jobid構造二級頁面url
        :param response:
        :return:
        """
        selector = Selector(response=response)
        itmes = selector.xpath('//item')
        for item in itmes:
            jobid = item.xpath('./jobid/text()').extract_first()
            url = 'https://appapi.51job.com/api/job/get_job_info.php?jobid='+jobid+'&accountid=&key=&from=searchjoblist&jobtype=0100&productname=51job&partner=8785419449a858b3314197b60d54d9c6&uuid=6b21f77c7af3aa83a5c636792ba087c2&version=845&guid=bbb37e8f266b9de9e2a9fbe3bb81c3d0'
            yield scrapy.Request(url=url, headers=self.headers, dont_filter=False, callback=self.parse_job)
        if self.current_page < self.max_page:
            self.current_page += 1
            neext_page_url = 'https://appapi.51job.com/api/job/search_job_list.php?postchannel=0000&&keyword=Python&keywordtype=2&jobarea=000000&searchid=&famoustype=&pageno=1' \
                         + str(self.current_page) +  '&pagesize=30&accountid=97932608&key=a8c33db43f42530fbda2f2dac7a6f48d5c1c853a&productname=51job&partner=8785419449a858b3314197b60d54d9c6&uuid=6b21f77c7af3aa83a5c636792ba087c2&version=845&guid=bbb37e8f266b9de9e2a9fbe3bb81c3d0'
            time_delay = random.randint(3,5)
            time.sleep(time_delay)
            yield scrapy.Request(url=neext_page_url, headers=self.headers, dont_filter=True, callback=self.parse)

爲了方便進行調試，咱們在項目的jobSpider目錄下建立一個main.py文件，用於啓動爬蟲，每次啓動爬蟲時，運行該文件便可。內容以下：

import sys

import os

from scrapy.cmdline import execute

if __name__ == '__main__':

    sys.path.append(os.path.dirname(os.path.abspath(__file__)))

    execute(["scrapy" , "crawl" , "qcwySpider"])

　　二級頁面信息採集功能在parse_job方法中實現，由於全部咱們須要抓取的信息都在xml中，咱們直接用scrapy自帶的selector提取出來就能夠了，不過在提取以前，咱們須要先定義好Item用來存放咱們採集好的數據。打開items.py文件，編寫一個Item類，輸入如下代碼：

class qcwyJobsItem(scrapy.Item):

    jobid = scrapy.Field()

    jobname = scrapy.Field()

    coid = scrapy.Field()

    #……item太多，省略部分

    isapply = scrapy.Field()

    url = scrapy.Field()

 
    def get_insert_sql(self):

        """

        執行具體的插入

        :param cursor:

        :param item:

        :return:

        """

        insert_sql = """

                        insert into qcwy_job(

                         jobid ,jobname ,coid ,coname ,issuedate ,jobarea ,jobnum ,degree ,jobareacode ,cityname ,

                        funtypecode ,funtypename ,workyearcode ,address ,joblon ,joblat ,welfare ,jobtag ,providesalary ,

                        language1 ,language2 ,cotype ,cosize ,indtype1 ,indtype2 ,caddr ,jobterm ,jobinfo ,isapply ,url)

                        VALUES ( %s, %s, %s,%s , %s,  %s, %s, %s, %s, %s, %s, %s , %s, %s, %s,%s , %s,  %s, %s, %s, %s, %s, %s, %s,  %s, %s, %s, %s, %s, %s)

                        """

        param = (

            self['jobid'], self['jobname'], self['coid'], self['coname'], self['issuedate'],

            self['jobarea'], self['jobnum'], self['degree'], self['jobareacode'], self['cityname'],

            self['funtypecode'], self['funtypename'], self['workyearcode'], self['address'], self['joblon'],

            self['joblat'], self['welfare'], self['jobtag'], self['providesalary'], self['language1'],

            self['language2'],self['cotype'], self['cosize'], self['indtype1'], self['indtype2'], self['caddr'], self['jobterm'],

            self['jobinfo'], self['isapply'], self['url']

        )

        return insert_sql , param

　　上面每個item都與一個xml標籤對應，用於存放一條信息。在qcwyJobsItem類的最後，定義了一個do_insert方法，該方法用於生產將item中全部信息存儲數據庫的insert語句，之因此在items木塊中生成這個insert語句，是由於往後若是有了多個爬蟲，有多個item類以後，在pipelines模塊中，能夠針對不一樣的item插入數據庫，使本項目具備更強的可擴展性。你也能夠將全部與插入數據庫有關的代碼都寫在pipelines。

　　而後編寫parse_job方法：

 def parse_job(self, response):

        time.sleep(random.randint(3,5))

        selector = Selector(response=response)

        item = qcwyJobsItem()

        item['jobid'] = selector.xpath('/responsemessage/resultbody/jobid/text()').extract_first()

        item['jobname'] = selector.xpath('/responsemessage/resultbody/jobname/text()').extract_first()

        item['coid'] = selector.xpath('/responsemessage/resultbody/coid/text()').extract_first()

        ……

        item['jobinfo'] = selector.xpath('/responsemessage/resultbody/jobinfo/text()').extract_first()

        item['isapply'] = selector.xpath('/responsemessage/resultbody/isapply/text()').extract_first()

        item['url'] = selector.xpath('/responsemessage/resultbody/share_url/text()').extract_first()

        yield item

　　完成上述代碼後，信息採集部分就完成了。接下來繼續寫信息存儲功能，這一功能在pipelines.py中完成。

class MysqlTwistedPipline(object):

    def __init__(self, dbpool):

        self.dbpool = dbpool

 

    @classmethod

    def from_settings(cls, settings):

        dbparms = dict(

            host = settings["MYSQL_HOST"],

            db = settings["MYSQL_DBNAME"],

            user = settings["MYSQL_USER"],

            passwd = settings["MYSQL_PASSWORD"],

            charset='utf8',

            cursorclass=MySQLdb.cursors.DictCursor,

            use_unicode=True,

        )

        dbpool = adbapi.ConnectionPool("MySQLdb", **dbparms)

 

        return cls(dbpool)

 

    def process_item(self, item, spider):

        #使用twisted將mysql插入變成異步執行

        query = self.dbpool.runInteraction(self.do_insert, item)

 

        query.addErrback(self.handle_error, item, spider) #處理異常

 

    def handle_error(self, failure, item, spider):

        # 處理異步插入的異常

        print ('發生異常:{}'.format(failure))

 

    def do_insert(self, cursor, item):

        # 執行具體的插入

        # 根據不一樣的item 構建不一樣的sql語句並插入到mysql中

        insert_sql, params = item.get_insert_sql()

        cursor.execute(insert_sql, params)

　　編寫完pipelines.py後，打開settings.py文件，將剛寫好的MysqlTwistedPipline類配置到項目設置文件中：

ITEM_PIPELINES = {

   # 'jobSpider.pipelines.JobspiderPipeline': 300,

    'jobSpider.pipelines.MysqlTwistedPipline':1 ,

}

　　順便也把數據庫配置好：

#MySQL數據庫配置

MYSQL_HOST = '192.168.1.100'

MYSQL_USER = 'root'

MYSQL_PASSWORD = '123456'

MYSQL_DBNAME = 'job_spider'

　　數據庫配置你也能夠之間嵌入到MysqlTwistedPipline類中，不過我習慣於把這些專屬的數據庫信息寫在配置文件中。

最後，只差一步，建數據庫、建數據表。部分表結構以下圖所示：

　　完成上述全部內容以後，就能夠運行爬蟲開始採集數據了。採集的數據以下圖所示：

4 總結

　　整個過程下來，感受前程無憂網APP爬取要比網頁爬取容易一些（彷佛不少網站都這樣）。回顧整個流程，其實代碼中還有諸多細節尚可改進完善，例如還能夠在構造連接時加上求職地點等。本博文重在對整個爬蟲過程的邏輯分析和介紹APP的基本爬取方法，博文中省略了部分代碼，若須要完整代碼，請在個人github中獲取，後續將繼續更新其餘招聘網站的爬蟲。

　　github：https://github.com/ChenHuabin321/job_spider