眼看實習就快一個月了,這也是本身的第一份實習工做。數據庫
很幸運能來到這家公司,畢竟之後寫在簡歷上仍是挺好的。。。。json
剛來一星期的時候,都不知道要作什麼,爬取高德地圖POI數據總差最後一步將地圖分割成N個矩形。。工具
如今仍是很疑惑啊,但仍是經過朋友的力量搞到了高德地圖的數據。。。學習
但不想罷休,本身仍是得去弄一弄的,我以爲本身之因此對那個分割地圖的事情百思不得其解的很大緣由是。。網站
我對地理地圖這些東西一無所知,徹底不知道怎麼分割比較合適~可是最近找到了一個不錯的方法,到時候試試excel
除此以外,個人工做最多的是爬蟲。。。。。。。。。接口
媽逼,老子每天爬蟲,數據獲取階段真的是嗨雞巴累的。開發
我想一想我爬了什麼鬼和幹了什麼鬼:百度地圖
①用Scrapy爬取了大衆點評一些亂七八糟的頻道數據,啥都有,累死老夫百度
②寫了一個小工具,功能是這樣的:經過輸入地塊名稱,來返回相應的地塊所在位置(經緯度)
若是地塊名稱太泛,太模糊,就會要求你輸入規劃建築面積來更加精確地匹配位置
其實這個工具挺好的,就是界面好醜略簡陋。
③定向爬蟲,我也不知道該不應叫這個名字,當時是這樣的,同事把中指數據庫的地塊信息數據下載下來了,順便吐槽下中指數據庫,
貴死你媽咪,數據還不全!還只准一我的登錄!太過度!
(繼續)同事把中指數據庫的地塊信息下載下來後,而後想根據地塊名稱來對應經緯度位置,其實我原本是以爲這麼重要的信息,中指數據庫確定會放在很明顯的位置。可是並無,仍是我在json文件裏找到的。可是這樣找也很費時間,若是有不少個的話,一個個找也是很麻煩。但我當時還想不到要怎麼取批量爬取。。
由於爬取中指數據庫對我來講。。。難度應該很大啊?登錄仍是那種幾分鐘換一次密碼的,還只能一我的登錄惹。但後來經過探索知道中指數據庫的一些數據鏈接的是房天下那邊的數據,地圖用的是百度地圖。因此就想在房天下的網站上看看能不能找到相應的地塊以及相應經緯度,最後找到了。
因此目標轉爲房天下的土地板塊網頁。
當時還沒想好要怎麼爬,就一步一步分析,就乾脆經過寫代碼一個個轉換,反正分析了蠻久的,最後寫出來了一個小工具。就是②上面說的小工具。
最後根據excel表格裏的地塊名稱成功批量爬取了對應的經緯度,誇一下我本身。
爬蟲這種東西,真的是要一步步分析的,從一個點到一條線,再到一個面,最後成爲一個立體的形狀。有空把代碼放上了
④仍是爬蟲。。。由於④上面的爬蟲爬的經緯度是百度地圖的經緯度,而咱們作的東西都是根據高德地圖的經緯度座標來的。同事說能夠經過網上下載工具來實現批量轉換,但我看了一下高德地圖開發平臺那Web開發的內容,寫到了將百度地圖座標轉換成高德地圖座標的接口。而後就寫代碼根據那個接口實現了批量轉換,仍是挺簡單的。凡是靠本身比較好,哈哈!
還作了一些亂七八糟的事,不太記起來了
我以爲我必定要弄下那個高德地圖POI數據的獲取!
總結下,來公司不到一個月的時間,雖然剛進來內心一直抱怨沒人帶我,不少東西從網上搜也搜不到。
剛開始遇到什麼任務,首先想到的是怎麼從網上copy代碼,而後本身修改。。可是不是本身寫的代碼,就算每一句都知道
也很難把那個邏輯思惟串聯起來。因而我開始本身寫代碼,跟着本身的思惟方式走,仍是挺有成效的,給了我必定的信心!
第一份實習就學到了這麼寶貴的經驗,不是說技術多麼厲害,由於我如今還很菜。重要的是學到了一種寶貴的思惟方式和作事方法!
最近在學習C語言,譚浩強的書看到一半,但這星期有點忙,沒怎麼看,週末真該好好泡在書裏過了~~~~