【圖文詳解】scrapy爬蟲與動態頁面——爬取拉勾網職位信息（2）

上次挖了一個坑，今天終於填上了，還記得以前咱們作的拉勾爬蟲嗎？那時咱們實現了一頁的爬取，今天讓咱們再接再礪，實現多頁爬取，順便實現職位和公司的關鍵詞搜索功能。

以前的內容就再也不介紹了，不熟悉的請必定要去看以前的文章，代碼是在以前的基礎上修改的

【圖文詳解】scrapy爬蟲與動態頁面——爬取拉勾網職位信息（1）

開始

仍是回到咱們熟悉的頁面，這裏，咱們熟練的打開了Newwork標籤，咱們點下一頁，看會出來什麼結果

果真仍是跳出來一個頁面，可是貌似。。網址同樣，我打開看一下

和以前不同也！

同樣的網址，結果不同的結果，這怎麼可能！！小夥伴是否是也和我同樣，一臉懵B!

別急，咱們繼續看看別的信息
在preview咱們看到了Pageno.2 說明確實不是一樣的內容

Header

咱們繼續看header，貌似發現了不得的東西。

這個pn不就是pageno的簡寫嗎？（什麼，你怎麼不知道有這個縮寫？）咱們能夠再打開一個網頁看看，事實證實，我是對的。

好的，咱們如今知道頁碼信息在這裏了，那要怎麼把這個信息附加上呢？？

Get or Post??

咱們知道網頁有兩種方式傳輸數據，get和post，get是把須要傳輸的數據寫到URL上，用戶能夠直觀看見，就是咱們以前一直使用的（好比搜索城市，工做經驗，學歷什麼的）。post是經過HTTP post機制，將表單內各個字段與其內容放置在HTML HEADER內一塊兒傳送到ACTION屬性所指的URL地址。用戶看不到這個過程。

scrapy實現post

看來咱們得想辦法用scrapy實現post了。
若是你還記得咱們以前講request的時候講了request是能夠輕鬆實現post的，那scrapy有request嗎？毫無疑問是有的。咱們在文檔中找到了一個叫FormRequest的對象，它能實現post功能，並給出了例子

咱們在咱們的以前代碼中的class中加入一個start_requests函數

def start_requests(self):
        return [scrapy.http.FormRequest('http://www.lagou.com/jobs/positionAjax.json?px=new&city=%E5%8C%97%E4%BA%AC',
                                        formdata={'pn':'2'},callback=self.parse)]

運行一下，出錯了，才發現，原來目前拉勾的json結構改了，中間加了一個positionResult

修改代碼：

jcontent = jdict["content"]
        jposresult = jcontent["positionResult"]
        jresult = jposresult["result"]

再運行一下，和第2頁的一致，說明成功了

這裏再說下，若是你在關鍵詞裏搜索，你會發現連接也不會變化，說明什麼？？說明也是用的post，好比我搜索大數據，能夠看到kd變成了大數據，因此咱們也能夠構造特定關鍵詞的爬蟲了。

實現自動翻頁

咱們只要能控制pn就好了，咱們新增一個變量curpage讓它運行一次自加1，而後咱們仍是用以前的yield的方法

if self.curpage <= self.totalPageCount:
    self.curpage += 1
yield scrapy.http.FormRequest('http://www.lagou.com/jobs/positionAjax.json?px=new&city=%E5%8C%97%E4%BA%AC',                                        formdata={'pn':str(self.curpage)},callback=self.parse)

要說明的是，以前json文件裏是有個totalPageCount屬性的，目前沒了！因此不能直接從json文件中獲取頁數信息了，怎麼辦呢？若是你要細心觀察就能夠發現有個totalCount屬性，你作實驗能夠發現，每頁都是15個，頁數就是totalCount/15取整，若是頁數大於30，只顯示30頁。

self.totalPageCount = jposresult['totalCount'] /15;
        if  self.totalPageCount > 30:
            self.totalPageCount = 30;

這裏咱們爬全部北京有關「大數據」的工做

formdata={'pn':str(self.curpage),'kd':'大數據'}

好了大工告成！享受你的成果吧！！

這個工程我上傳到了github，有興趣的同窗能夠下載下來看看：
https://github.com/hk029/LagouSpider