Spark實現根據IP地址求歸屬地以及將結果保存到MySql數據庫中(Spark廣播變量的使用)

須要:各大網站天天都會產生大量的數據,數據中有用戶訪問網站的時間戳,IP地址,訪問的域名,瀏覽器信息等等,現要求分析各個省份的上網人數(實際上就是在ip規則中查詢用戶IP的地址,再進行聚合) 實現: 一、 加載城市ip段信息,獲取ip起始數字和結束數字,經度,維度php 二、 加載日誌數據,獲取ip信息,而後轉換爲數字,和ip段比較java 三、 比較的時候採用二分法查找,找到對應的經度和維度my
相關文章
相關標籤/搜索