BOSS直聘網爬蟲初嘗試

一、需求分析

　　經過搜索職位關鍵字，來獲取該職位的招聘信息，信息包括：崗位的名稱，招聘的公司，公司所在地，工做經驗要求，學歷要求

二、技術分析

　    代碼語言：python；

　　所須要的類庫：requests、BeautifuiSoup

三、詳細分析

　　在BOSS直聘網站搜索框上搜索關鍵字：Java

　　

圖1 搜索關鍵字

　　觀察下其跳轉連接，發現其請求的方式爲get，那麼，咱們就須要構造一個請求的連接。

　　

 

圖2 目標連接地址

　　圖3 請求的參數

def get_target_link(keyword):
    data = {
        'query': keyword,
        'scity': 101280600,
        'industry':'',
        'position':''
    }
    queries = urlencode(data)
    url = base_url + queries

如今只須要傳入一個keyword，就能構造出一個職位的連接地址了，那麼下面就須要解析這個地址的內容

def get_target_content(url,keyword):
    try:
        response = requests.get(url = url,headers = headers)
        if response.status_code == 200:
            parser_target_content(response.text,keyword)
        else:
            print("Request failed")
    except RequestException as e:
        print(e)

這段代碼解析出頁面的內容以後，再去調用parser_target_content這個函數，解析目標內容

def parser_target_content(content,keyword):
    job_info = []
    soup = BeautifulSoup(content,"lxml")
    s = soup.find_all("div",class_="job-list")
    for i in s:
        m = i.find_all("li")
        for j in m:
            job_info.append(j)
    parser_detail_jobinfo(job_info)

def parser_detail_jobinfo(job_info):
    for i in job_info:
        s = i.find_all("div",class_="job-primary")
        for j in s:
            job_name = j.find("div",class_="job-title").get_text()
            job_wage = j.find("span").get_text()
            company_location = re.search(r"([\u4e00-\u9fa5]{2})(\s{2})", str(j).replace("\n","")).group(1)
            work_experience = re.search(r"</em>(.*)<em",str(j)).group(1)
            #aca_require = re.search(r"em>(.{2})</p>", str(j)).group(1)
            m = j.find_all("div",class_="company-text")
            for k in m:
                company = k.find("a").get_text()
                print(company,job_name,job_wage,company_location,work_experience)

一頁的內容有了，下面的問題是如何把所有屬於這個關鍵字的職位頁面打開來，瀏覽發現，底部並無最後一頁的地址，全部說，不能經過最後一頁的地址用循環遍歷全部的頁面，如何解決？

圖4 頁碼分佈

觀察下面兩張截圖，圖5是首頁的，圖6是末頁的

圖5 頁碼截圖1

圖6 頁碼截圖2

 發現，一個是class = "next"，另外一個是：class = "next disabled"，因此，只須要從當前（第一頁）開始判斷，class = "next"是否成立，若是成立，則得到下一頁的連接，而後遞歸繼續解析下一頁的內容，反之，則退出判斷

def get_href(URL):
    response = requests.get(url = URL, headers = headers).text
    soup = BeautifulSoup(response,"lxml")
    s = soup.find_all("div",class_="page")
    for i in s:
        h = i.find_all("a")
        for j in h[-1:]:
            href = "https://www.zhipin.com/" + j.get("href")
            return href

def judge_nextpage(href):
    response = requests.get(url = href, headers = headers).text
    soup = BeautifulSoup(response, "lxml")
    s = soup.find_all("div", class_="page")
    for i in s:
        h = i.find_all("a")
        ka = re.search(r'class="(.*) href=\"',str(h[-1])).group(1).strip("\"")
        if ka == "next":
            return True

def print_href(url,keyword):
    get_target_content(url, keyword)
    href = get_href(url)
    flag = judge_nextpage(href)
    if flag == True:
        print_href(href,keyword)

四、爬取結果

 

歡迎使用BOSS直聘職位分析系統！
請輸入要查詢的職位：Java

 

易程文化 JAVA開發工程師 10k-20k 深圳 3-5年求勢科技 Java中級工程師 12k-20k 深圳 1-3年七點半傳媒科技 Java 15k-20k 深圳 1年之內有棵樹 JAVA開發工程師（中高級） 10k-15k 深圳 3-5年博奧特 初中級JAVA開發 10k-16k 深圳 1-3年魚羣資訊 java開發工程師 10k-20k 深圳 1-3年廠家網商城 Java搜索工程師 10k-15k 深圳 3-5年頂脈科技 Java 10k-15k 深圳 1-3年平安付 初級/中級/高級/資深Java開發工程師 15k-30k 深圳 3-5年螞蟻金服 螞蟻金服深圳JAVA專場通道(Fast) 23k-42k 深圳 應屆生快優 Java資深工程師 12k-20k 深圳 3-5年愛加密 JAVA開發工程師 10k-15k 深圳 1-3年四方精創 Java 16k-25k 深圳 5-10年樂達實業 Java開發 6k-12k 深圳 3-5年好實再 中級Java工程師 12k-16k 深圳 3-5年龍廣投資 Java 5k-10k 深圳 1-3年螞蟻金服 Java 25k-50k 深圳 3-5年聯合永道 Java開發工程師 9k-13k 深圳 1-3年億騰信息 Java開發工程師（電商項目） 11k-13k 深圳 1-3年土巴兔 Java 10k-18k 深圳 3-5年明鏈科技 Java 7k-14k 深圳 1年之內上海易立德 Java系統架構師 14k-16k 深圳 5-10年掌控移動 java開發工程師助理 3k-4k 深圳 應屆生阿里巴巴集團 Java 開發工程師實習生 20k-40k 深圳 應屆生賣座網 全棧工程師（C/C++、JAVA、Golang） 20k-30k 深圳 3-5年深圳標越科技 高級java 18k-28k 深圳 5-10年頂尖傳奇 java架構師 50k-80k 深圳 5-10年越凡物聯 java 前、後端開發 8k-15k 深圳 1-3年兔展 高級Java開發工程師 18k-35k 深圳 5-10年軟通動力 java開發工程師 8k-16k 深圳 3-5年中軟國際 Java 10k-15k 深圳 1-3年豐瑞 java開發工程師 8k-16k 深圳 1-3年華夏軟件 Java 開發及大數據實施 5k-6k 深圳 1-3年北京中訊漢揚 Java架構師 15k-30k 深圳 5-10年巨益科技 Java 15k-25k 深圳 1-3年萬達信息 Java 9k-12k 深圳 3-5年企鏈數字 Java 10k-20k 深圳 5-10年深圳市聚一科技 Java 10k-20k 深圳 3-5年給樂科技 資深java工程師/java技術經理 22k-30k 深圳 5-10年阿里巴巴零售通 Java 20k-40k 深圳 3-5年雲沃客 Java工程師 8k-15k 深圳 1-3年同方鼎欣 Java（深圳平安） 11k-16k 深圳 3-5年人人聚財 Java開發工程師 10k-18k 深圳 1-3年SIE Java軟件開發工程師 10k-20k 深圳 3-5年科脈技術 JAVA高級開發工程師 15k-25k 深圳 5-10年阿里巴巴集團 後臺Java開發 20k-40k 深圳 3-5年一青三濛電子游藝 java開發 11k-17k 深圳 1-3年道一信息 java實習生 3k-4k 深圳 應屆生幾米 JAVA高級開發工程師 15k-25k 深圳 3-5年創領網絡 JAVA開發工程師 15k-20k 深圳 3-5年三泰智能 技術支持工程師（java方向） 8k-15k 深圳 1-3年環金科技 Java高級工程師 15k-20k 深圳 5-10年深圳塊店智能科技有限公司 Java開發工程師 10k-20k 深圳 3-5年韶關市大鯤互動網... Java工程師 6k-8k 深圳 1-3年億騰信息 JAVA開發工程師 11k-13k 深圳 1-3年博彥科技 java開發工程師 9k-17k 深圳 3-5年順豐科技 Java高級工程師 20k-40k 深圳 5-10年中科智慧 Java中級開發工程師 10k-15k 深圳 1-3年華爲技術有限公司 Java 30k-50k 深圳 5-10年軟通動力 Java架構師 20k-30k 深圳 5-10年螞蟻金服 Java資深開發工程師 25k-50k 深圳 不限跨海俠 java開發工程師 15k-25k 深圳 3-5年星火電子 java工程師 8k-15k 深圳 3-5年達普信 Java開發工程師 8k-10k 深圳 1-3年浪尖設計 JAVA工程師 15k-30k 深圳 5-10年雁聯技術 JAVA 12k-14k 深圳 3-5年關貿雲 java開發 10k-17k 深圳 1-3年跨海俠 高級java開發工程師 15k-30k 深圳 5-10年匯金智融 深圳java初中級工程師 7k-14k 深圳 1-3年海峽投資管理 高級JAVA開發 5k-10k 深圳 1-3年普拉科技 Java 1k-2k 深圳 不限裏莫信息 Java工程師（微信開發） 8k-15k 深圳 1-3年達普信 Java開發 12k-16k 深圳 3-5年求勢科技 Java高級工程師 15k-28k 深圳 3-5年廠家網商城 Java高級工程師 15k-20k 深圳 5-10年小錢科技 Java 35k-50k 深圳 5-10年壹線科技 Java 5k-10k 深圳 1年之內矩陣元 Java開發工程師 18k-25k 深圳 3-5年科碼先鋒 Java開發工程師 15k-25k 深圳 3-5年艾遊星空 Java 15k-20k 深圳 3-5年有贊 高級Java開發 16k-30k 深圳 3-5年易買屋信息科技 java開發工程師 15k-20k 深圳 3-5年海雅集團 JAVA開發工程師 6k-8k 深圳 1年之內易買屋信息科技 Java開發開程師 8k-15k 深圳 1-3年深圳中電技術 Java開發 12k-18k 深圳 3-5年彩生活 JAVA工程師 7k-8k 深圳 1-3年新國都 java開發工程師（IT） 12k-15k 深圳 3-5年平安科技 資深java開發工程師 18k-30k 深圳 3-5年小碼教育 JAVA講師 8k-10k 深圳 不限上海華騰 Java 10k-18k 深圳 3-5年拓略 java工程師 5k-6k 深圳 1年之內左鄰 Java開發工程師 15k-20k 深圳 3-5年平安科技 (ZP)資深Java開發工程師 15k-30k 深圳 不限超巨星 JAVA初中級開發工程師 7k-13k 深圳 1-3年軟通動力 java開發 11k-13k 深圳 1-3年軟通動力 中高級Java開發工程師 10k-20k 深圳 3-5年上海七聖網絡科技 java工程師 8k-12k 深圳 1-3年深圳小腦袋網絡科... Java 10k-15k 深圳 3-5年阿里巴巴集團 Java 25k-40k 深圳 1-3年平安科技 Java架構師 20k-40k 深圳 不限武漢佰鈞成 Java Web開發 7k-13k 深圳 1-3年雲濤創展科技 Java 6k-10k 深圳 1年之內土巴兔 Java 15k-30k 深圳 3-5年OPPO Java 20k-35k 深圳 3-5年文思海輝集團 Java開發工程師 11k-19k 深圳 3-5年永興元 Java開發工程師（深圳） 7k-13k 深圳 1-3年雨花石雲計算 Java開發工程師（18屆、17屆） 6k-8k 深圳 1-3年海梁科技 初級JAVA軟件工程師 8k-15k 深圳 1-3年素由 Java 8k-12k 深圳 1-3年軟通動力 Java 20k-30k 深圳 3-5年前海福道技術 JAVA開發工程師 20k-30k 深圳 5-10年惟依歐多貿易 java 15k-20k 深圳 3-5年匯金智融 深圳中高級java 10k-18k 深圳 3-5年兔展 高級Java開發工程師 18k-35k 深圳 5-10年億科傳媒 高級JAVA開發 15k-25k 深圳 3-5年軟通動力 Java開發 15k-25k 深圳 5-10年LEOMASTER Java服務端研發工程師 15k-30k 深圳 3-5年啓航科技 Java軟件開發工程師 8k-14k 深圳 1-3年聯龍博通 java開發工程師（深圳） 9k-18k 深圳 1-3年莘達科技 Java初級開發工程師 4k-7k 深圳 應屆生上海易立德 中級Java開發工程師 10k-11k 深圳 3-5年大連斯銳信息技術公司 Java開發(佛山) 9k-12k 深圳 3-5年長亮 Java開發 10k-15k 深圳 3-5年莘達科技 java初級開發工程師 4k-6k 深圳 應屆生長泉科技 Java 2k-4k 深圳 1年之內雁聯技術 初級Java開發工程師 8k-11k 深圳 1-3年匯智衆通 Java開發工程師 7k-12k 深圳 1-3年六六玩科技 Java服務器開發工程師 6k-10k 深圳 1-3年艾姆拜氪 JAVA後臺開發 20k-30k 深圳 3-5年軟通動力 Java開發 13k-26k 深圳 5-10年偉業興科技 JAVA高級工程師 12k-20k 深圳 5-10年採集科技 JAVA 9k-18k 深圳 3-5年穗彩科技 Java（初中級） 6k-10k 深圳 1-3年前海招文天下金融 java開發師 5k-10k 深圳 1-3年開科惟識 中高級Java開發工程師-深圳 9k-16k 深圳 3-5年華微軟件 Java 9k-18k 深圳 1-3年匯金智融 初級Java開發 8k-15k 深圳 1-3年順豐科技 Java架構師 35k-60k 深圳 5-10年四方精創 Java 12k-22k 深圳 3-5年博彥科技 java web 10k-15k 深圳 3-5年易寶軟件 Java 15k-30k 深圳 3-5年全藥網 Java 10k-18k 深圳 3-5年雲智惠 Java高級工程師 20k-35k 深圳 5-10年軟通動力 Java開發 8k-16k 深圳 3-5年大疆創新 Java工程師 15k-30k 深圳 1-3年昆明尚網科技有限公司 Java開發工程師 8k-15k 深圳 1-3年螞蟻金服 螞蟻金服深圳JAVA專場通道(快招) 18k-33k 深圳 3-5年長亮 Java工程師 10k-15k 深圳 3-5年大連斯銳信息技術公司 java開發工程師 12k-15k 深圳 3-5年英飛拓 JAVA 8k-15k 深圳 3-5年螞蟻金服 螞蟻金服深圳JAVA專場通道(快招) 20k-40k 深圳 3-5年騰訊 Java 15k-30k 深圳 3-5年無極雲區塊鏈互聯網 Java高級工程師 25k-35k 深圳 5-10年深圳泰久信息 中高級Java開發工程師 10k-20k 深圳 3-5年軟通動力 java開發工程師 9k-18k 深圳 1-3年採集科技 JAVA高級開發 14k-28k 深圳 5-10年華曦達科技 Java項目經理 10k-20k 深圳 3-5年國富黃金 高級Java開發工程師 20k-40k 深圳 5-10年上海睿民科技 Java開發工程師（base深圳） 8k-16k 深圳 3-5年明理信息科技 Java開發工程師 10k-20k 深圳 1-3年匯金智融 Java開發工程師 10k-18k 深圳 3-5年格致誠投資 Java 12k-18k 深圳 3-5年哨子科技 中高級Java工程師 15k-30k 深圳 3-5年健康160 Java 15k-30k 深圳 3-5年華爲技術有限公司 Java 20k-35k 深圳 5-10年柚安米 Java高級開發工程師 15k-25k 深圳 5-10年共享明天 Java工程師 10k-15k 深圳 3-5年上海睿民科技 JAVA開發工程師 7k-14k 深圳 1-3年億騰信息 中山證券JAVA開發工程師 12k-14k 深圳 3-5年海爾集團 Java工程師 18k-20k 深圳 3-5年華雲中盛 高級Java開發 15k-30k 深圳 3-5年易買屋信息科技 高級Java開發工程師 15k-25k 深圳 3-5年雅士長華 高級Java工程師 13k-25k 深圳 3-5年靈遊互娛 JAVA工程師 10k-20k 深圳 3-5年賽象信息 java開發（深圳） 10k-16k 深圳 3-5年興融聯科技 java工程師 10k-18k 深圳 3-5年深圳國開創新科技 java 10k-16k 深圳 1-3年博奧特 中高級JAVA工程師 12k-22k 深圳 3-5年鏈報信息諮詢有限公司 java工程師 8k-16k 深圳 1-3年長亮 Java開發工程師 9k-15k 深圳 3-5年Oracle SaaS高級Java開發工程師 23k-46k 深圳 5-10年蜂后科技 Java開發工程師 10k-15k 深圳 3-5年軟通動力 Java自動化測試 9k-18k 深圳 1-3年合泰文化 Java工程師 10k-15k 深圳 3-5年深圳軟盟技術 java工程師 12k-20k 深圳 3-5年赤驥商貿有限公司 Java開發工程師 8k-15k 深圳 1-3年賽象信息 Java開發 10k-20k 深圳 3-5年昆明尚網科技有限公司 高級java後臺開發 15k-30k 深圳 3-5年無極雲 高級java架構師 25k-50k 深圳 5-10年思迪信息 JAVA開發工程師 9k-15k 深圳 3-5年昂納集團 Java 7k-14k 深圳 1-3年深圳市大白菜 中級JAVA開發工程師 14k-18k 深圳 3-5年匯金智融 深圳java工程師 8k-16k 深圳 3-5年深圳市脈山龍信息... Java開發工程師 12k-15k 深圳 1-3年軟通動力 Java 10k-20k 深圳 5-10年長亮 java工程師 10k-15k 深圳 3-5年風神科技 Java遊戲服務端 8k-15k 深圳 1-3年長亮 Java 10k-15k 深圳 3-5年微築科技 Java架構師 30k-50k 深圳 5-10年卡爲集團 JAVA工程師 12k-18k 深圳 1-3年愛淘苗電商 java開發工程師 10k-15k 深圳 3-5年博彥科技 java開發工程師 9k-10k 深圳 3-5年國政信 Java開發工程師 6k-12k 深圳 1-3年恆信融通金融 JAVA工程師 7k-12k 深圳 1-3年和而泰 Java開發工程師 13k-22k 深圳 3-5年廣州赤驥商貿有限公司 深圳JAVA 12k-20k 深圳 3-5年平安科技 (JC)資深Java開發工程師 15k-30k 深圳 不限邦德教育 Java開發工程師 7k-8k 深圳 1-3年好科科技 Java 20k-40k 深圳 5-10年德科信息 Java高級開發工程師 15k-20k 深圳 5-10年樂道互聯網 Java架構師 30k-60k 深圳 5-10年盒淘電商 java高級架構師 30k-50k 深圳 5-10年深圳信匯泰 Java開發 10k-20k 深圳 1-3年瑞泰信資訊 JAVA接口開發工程師 5k-10k 深圳 1-3年上海長亮 Java 10k-20k 深圳 3-5年阿里巴巴集團 9月深圳專場-高級JAVA工程師/專家 20k-40k 深圳 5-10年螞蟻金服 螞蟻金服深圳JAVA專場通道(快招) 30k-50k 深圳 3-5年深圳雁聯 JAVA中級【深圳--羅湖】 9k-14k 深圳 1-3年超級猩猩健身 Java研發工程師 10k-20k 深圳 1-3年螞蟻金服 螞蟻金服深圳JAVA專場通道(快招) 18k-31k 深圳 不限夢藍網絡 Java 10k-13k 深圳 3-5年阿法加科技 中高級java開發工程師 15k-30k 深圳 5-10年熠宸信息 JAVA軟件工程師 8k-10k 深圳 1-3年四方精創 Java工程師 15k-25k 深圳 3-5年華爲 Java 17k-34k 深圳 不限小源科技 Java開發工程師 13k-20k 深圳 1-3年華夏軟件 Java開發及大數據實施 5k-6k 深圳 3-5年赤驥商貿有限公司 java 12k-15k 深圳 3-5年菠蘿三維 JAVA開發工程師 9k-15k 深圳 1-3年瑞泰信資訊 JAVA資深開發工程師 12k-24k 深圳 3-5年跨越速運 高級JAVA工程師 15k-30k 深圳 5-10年有贊 Java - base杭州 16k-30k 深圳 3-5年智慧享聯 Java 15k-30k 深圳 5-10年江融信 Java中級工程師 15k-25k 深圳 3-5年喜盈佳 Java後端開發/springboot 12k-20k 深圳 5-10年北京東成雲凱科技股份 Java 6k-9k 深圳 1-3年生銀萬國 Java 8k-15k 深圳 1-3年甘瑞利 java 10k-20k 深圳 1-3年訊毅網絡 Java工程師 15k-25k 深圳 3-5年四方精創 JAVA開發工程師 12k-22k 深圳 3-5年河馬互娛 JAVA開發遊戲工程師 15k-20k 深圳 1-3年紅茶移動 Java工程師 10k-20k 深圳 1-3年比特空間 JAVA架構師 20k-35k 深圳 5-10年雲沃客 java開發 10k-15k 深圳 1-3年中順易 Java開發工程師 15k-20k 深圳 3-5年嗶吡互娛 Java 14k-20k 深圳 3-5年螞蟻金服 螞蟻國際深圳研發中心Java高級開發工程師 20k-40k 深圳 3-5年普拉科技 Java 2k-3k 深圳 不限海康威視 JAVA工程師 10k-15k 深圳 1-3年華世恆通網絡科技 高級java工程師 15k-20k 深圳 5-10年用友金融 Java 10k-13k 深圳 3-5年柚安米 JAVA開發工程師 16k-25k 深圳 3-5年天源迪科 Java 8k-15k 深圳 3-5年亞太衛星 Java高級工程師 10k-18k 深圳 3-5年軟通動力 Java 15k-25k 深圳 不限中軟國際 Java 10k-20k 深圳 1-3年銀信科技 JAVA開發工程師 13k-23k 深圳 3-5年深圳雁聯 JAVA軟件工程師（中級）【深圳】 9k-14k 深圳 1-3年中軟國際 Java開發 12k-24k 深圳 1-3年易聆科 JAVA開發工程師 7k-9k 深圳 1-3年螞蟻金服 螞蟻金服深圳JAVA專場通道(快招) 18k-33k 深圳 3-5年深圳萬谷盛世 Java Spring 後端高級工程師 20k-30k 深圳 5-10年深圳一聲笑科技 Java架構師 20k-30k 深圳 3-5年深圳鼎遊 Java開發工程師 5k-8k 深圳 不限LEVE樂無 JAVA高級工程師 15k-25k 深圳 3-5年