人生苦短，用Python爬取美團網所有城市數據，朋友出價5000都不賣

最近在Python爬蟲的羣裏面看到有挺多人對於美團網上面的數據非常的感興趣，而且還某些人給出的價格也是非常的可觀，爬取美團的數據然後出價5000？？？？當時就懵逼了，當我爬取所有的數據發現原來5000感覺都少了！ 爬蟲思路 目前有許多爬蟲框架，我粗略的使用了以下思路實現增量爬取。 requests（selenium）爬取數據； 判斷爬取的數據是否數據庫中已存在； 保存在dataframe對象中；

>>阅读原文<<