手把手用Python網絡爬蟲帶你爬取全國著名高校附近酒店評論

/1 前言/

  簡介：本文介紹如何用python爬取全國著名高校附近的酒店點評，並進行分析，帶你們看看著名高校附近的酒店怎麼樣。

/2 具體實現/

  具體的實現主要是分爲三步，具體的操做過程以下。

1、抓取高校附近的酒店信息

  因爲電腦客戶端的美團酒店沒有評論信息，因而我從手機端的網頁入手，網頁地址爲：https://i.meituan.com/awp/h5/hotel/search/search.html

  經過搜索北京大學附近的酒店，抓包找到了返回酒店json信息的url。

  其中，limit表明返回酒店的最大數量（經測試，limit最大爲50），offset爲每次返回酒店數量的起點，cityId爲城市的標誌，在網頁信息中能夠找到，時間參數能夠修改，sort爲返回酒店信息的排序，sort=distance表明按距離搜索，q和keyword都是大學名稱。

  返回的數據以下圖所示：

    包含酒店的名字、地理位置、評分、realPoiId（至關於酒店的身份證號，後面爬評論用的到）、酒店和大學的距離等信息。

    下面咱們開始爬排名前10高校附近的酒店信息（不要在意大學排名，我亂找的，以學習爲主）：

（圖片來源於網絡）

  部分代碼以下圖所示：

  其中cityId和大學名字爲控制變量，經過返回的距離信息將酒店位置控制在2000米之內，輸出結果爲：

  看看這10所大學2000米附近附近有多少家酒店：

  咱們能夠發現，南京大學附近酒店最多，有453家；上海交通大學閔行校區附近酒店最少，有75家。

2、抓取每家酒店的點評信息

  這個從這個url能夠返回每家酒店的評論數量，poiId是酒店的「身份證號」。

  這個url能夠返回酒店的全部評論信息，其中limit爲返回的評論數量，能夠直接用上個url返回的評論數量，一次所有以json格式返回，很是方便，返回結果以下：

3、遇到的坑

  1.剛開始爬評論是1次返回15個，後來發現能夠Limit能夠爲評論的最大值，可是第一步返回的酒店信息中包含酒店評論數量是不許確的，要用第二步的方法；

  2.評論中亂七八糟的表情、符號也是大坑，去了很久也去不乾淨；

  3.最好用代理IP地址爬，不然評論太多，會被封。

/3 結語/

  本文基於Python網絡爬蟲，抓取了高校旁邊的酒店數量及其評論數量，若是你想抓取其餘地方的其餘信息，也是可行的，能夠縱向拓展。

  歡迎你們嘗試，消耗在家的無聊時間。本文涉及的代碼都上傳到了github地址上，後臺回覆「高校酒店」四個字便可獲取代碼。