spark數據分析之ip歸屬地查詢

前一段時間，在項目中，領導要求實時查看來自各個省份的ip訪問的詳情，根據這一需求，經過flume/logstack實時採集nginx的日誌到生產到kafka，再經過Spark實時消費分析保存到Redis/MySQL中，最後前端經過百度的echart圖實時的顯示出來。  首先，得有一份ip歸屬地的規則表，能夠本地的文檔，也能夠是分佈式的在多臺機器上的（如hdfs）。  ip規則表部分以下：前端 1.

>>阅读原文<<