spark通過獲取kafka訪問網站數據計算uv,並存到redis中

使用sparkstreaming計算uv並存入redis集羣 首先數據是通過flume存入kafka的待分析數據(\t隔開): 需求就是記錄不同ip訪問次數,相同的ip不累加，簡單來說就是記錄不同用戶的訪問量uv kafka和redis集羣的配置 application.conf util類 ConfUtil RedisPoolUtil scala代碼 計算總uv 這裏的重點是我計算uv使用的是H

>>阅读原文<<