目的:cookie
根據輸入的城市名,爬取該城市美團美食板塊全部商家的數據。數據包括:ide
店名、評分、評論數量、均價、地址
,工具
並將這些數據存入Excel中。學習
最後嘗試對爬取到的數據作一個簡單的分析。開發工具
爬取每頁數據後,隨機中止一段時間後再爬下一頁;spa
每頁使用不一樣的cookie值。code
Chrome打開後看了下xhr。。。接口
發現直接有接口能夠用。圖片
詳細的實現過程在我的簡介中獲取源代碼
。ip
Python版本:3.5.4
相關模塊:
requests模塊;
win_unicode_console模塊;
openpyxl模塊;
以及一些Python自帶的模塊。
安裝Python並添加到環境變量,pip安裝須要的相關模塊便可。
使用演示
在cmd窗口運行MT_Cate_Spider.py文件便可。
其實在碼字的時候我臨時加的這個部分,緣由很簡單,我想強調爬蟲和數據分析結合的重要性。
利用Excel的數據分析功能簡單分析一波吧~~~
用的上海地區的數據。
首先固然是按照評分排個序,而後作成柱狀圖:
而後是評論數量排個序,作成柱狀圖:
而後再作點其餘有趣的圖案:
爲了幫助學習Python進步慢的夥伴們,在這裏爲你們準備了豐富的學習大禮包
OK,That's all!