程序員的選房神技,GitHub上的房源爬蟲

買房,在中國是任何一個年輕人都繞不開都話題。特別是在當下限購搖號等多重政策打壓的狀況,要選到一個本身心儀的房子可謂難度不小。git

並且,伴隨着房價上漲的還有房租。買不起房的,想要租個合適的小窩也不容易啊!程序員

正在看房路上的我,只能用下圖表達此時心情!github

image

萬萬沒想到的是,在選房這個難題上,程序員小哥哥卻自有神技。利用爬蟲技術輕鬆獲取全部房源,搭配數據分析輕鬆就搞定了本身的小窩。數據庫

此時的你,是否是流下了「不懂技術」的眼淚。不哭不哭站起來擼,來看看 Github 上的房源爬蟲,直接拿來就用豈不更妙!json

1.自如實時房源提醒

房源監控腳本,自動檢測符合條件的高性價比房源,1個小時更新一次。一旦出現符合條件的房源就打印出來。代碼量不大,卻十分好用。小程序

項目地址:facert/ziroom_realtime_spideride

image

2.鏈家二手房租房在線數據

一個鏈家網全國房源爬蟲工具,輕鬆獲取存量房交易數據以及現存房源。還搭配了數據分析的教程,提供可視化。工具

項目地址:XuefengHuang/lianjia-scrawler學習

數據分析教程:https://www.ershoufangdata.com/url

image

3.貝殼網爬蟲API:

直接經過pip install ke安裝便可使用,一行代碼將指定篩選條件的全量數據保存爲JSON/csv。

項目地址:rangduju/Ke

使用命令:

from Ke.ke import Ke
%%time
df = Ke(username='17810375258', password='abcd1234').ke_scraper_rent(url='https://bj.zu.ke.com/zufang/sanlitun/l0', keyword='北京三里屯', export='csv')
df

4.鏈家網和貝殼網房價爬蟲

採集北京上海廣州深圳等21箇中國主要城市的房價數據(小區,二手房,出租房,新房),穩定可靠快速!支持csv,MySQL, MongoDB,Excel, json存儲,而且同時支持Python2和3。具備圖表展現數據功能,而且擁有詳細註釋,可進行功能擴展。

項目地址:jumper2014/lianjia-beike-spider

image

5.北京地區鏈家房屋成交

爬下了北京全部的小區信息及北京的全部歷史成交記錄,很簡單的一個爬蟲,可供北京地區的購房者進行價格比較。

項目地址:lanbing510/LianJiaSpider

image

6.號稱宇宙最快的鏈家爬蟲

直接使用鏈家API抓取數據的技術爬蟲,做者自嗨號稱宇宙最快,具體快不快,還等你親自試試呢。

項目地址:CaoZ/Fast-LianJia-Crawler

image

7.地圖搜租房

爬蟲全天不間斷獲取公開租房信息,彙總處理分析後落地到數據庫中。整合房源衆多,包括豆瓣租房小組】、【豆瓣租房小程序】、【Zuber合租】、【蘑菇租房】、【CCB建融家園】、【58同城品牌公寓】、【Hi住租房】、【房多多】、【貝殼租房】、【v2ex租房帖子】、【上海互助租房】。而且支持房價篩選、我的房源。能夠直接利用高的地圖展現房源。如今都擁有本身的官網產品了。

項目地址:liguobao/58HouseSearch

官網地址:地圖搜租房

image

實驗樓曾經有一個實習生,把本身畢業時利用高德 API 和 Python 找到房子的租房經歷。寫成了一個課程,感興趣的同窗也能夠關注學習一下!《高德API + Python 解決租房問題》​

知乎專欄同步:https://zhuanlan.zhihu.com/p/86133918

相關文章
相關標籤/搜索