Python爬蟲系列之爬取美團美食板塊商家數據(一)

主要思路

目的cookie

根據輸入的城市名,爬取該城市美團美食板塊全部商家的數據。數據包括:ide

店名、評分、評論數量、均價、地址工具

並將這些數據存入Excel中。學習

最後嘗試對爬取到的數據作一個簡單的分析。開發工具

克服反爬蟲:

爬取每頁數據後,隨機中止一段時間後再爬下一頁;spa

每頁使用不一樣的cookie值。code

具體原理:

Chrome打開後看了下xhr。。。接口

發現直接有接口能夠用。圖片

詳細的實現過程在我的簡介中獲取源代碼ip

開發工具

Python版本:3.5.4

相關模塊

requests模塊;

win_unicode_console模塊;

openpyxl模塊;

以及一些Python自帶的模塊。

環境搭建

安裝Python並添加到環境變量,pip安裝須要的相關模塊便可。

使用演示

在cmd窗口運行MT_Cate_Spider.py文件便可。

圖片
image.png

簡單分析

其實在碼字的時候我臨時加的這個部分,緣由很簡單,我想強調爬蟲和數據分析結合的重要性。

利用Excel的數據分析功能簡單分析一波吧~~~

用的上海地區的數據。

首先固然是按照評分排個序,而後作成柱狀圖:

圖片

而後是評論數量排個序,作成柱狀圖:

圖片

而後再作點其餘有趣的圖案:

圖片

圖片

爲了幫助學習Python進步慢的夥伴們,在這裏爲你們準備了豐富的學習大禮包

image

OK,That's all!

相關文章
相關標籤/搜索