spark大數據分析實戰案列1學習 （lamda架構日誌分析流水線）

日誌實例格式 當數據量較小(10MB,100MB,10GB)可以通過Shell Python單機解決 Linux Shell命令 :  cat access.log.10 |awk '{a[$1]++} END {for(b in a) print b"\t"a[b]} '| sort -k2 -r |head -n 10    日誌分析指標：     1：PV     2：U

>>阅读原文<<