Python美團爬蟲-抓取美食板塊商家數據

主要思路

目的：

根據輸入的城市名，爬取該城市美團美食板塊全部商家的數據。數據包括：

店名、評分、評論數量、均價、地址，

並將這些數據存入Excel中。

最後嘗試對爬取到的數據作一個簡單的分析。

克服反爬蟲：

爬取每頁數據後，隨機中止一段時間後再爬下一頁；

每頁使用不一樣的cookie值。

具體原理：

詳細的實現過程見源代碼。

開發工具

Python版本：3.5.4

相關模塊：

requests模塊；

win_unicode_console模塊；

openpyxl模塊；

以及一些Python自帶的模塊。

環境搭建

安裝Python並添加到環境變量，pip安裝須要的相關模塊便可。

相關文件

關注公衆號「python工程獅」回覆「美團美食」獲取。

使用演示

在cmd窗口運行MT_Cate_Spider.py文件便可。

簡單分析

利用Excel的數據分析功能簡單分析

用的上海地區的數據。

首先固然是按照評分排個序，而後作成柱狀圖：

而後是評論數量排個序，作成柱狀圖：

而後再作點其餘有趣的圖案：