Spark-再接着上次的Lamda架構

日誌分析 單機日誌分析，適用於小數據量的。（最大10G），awk/grep/sort/join等都是日誌分析的利器。 例子： 一、shell獲得Nginx日誌中訪問量最高的前十個IPpython cat access.log.10 | awk '(a[$1]++) END (for(b in a) print b"\t"a[b])' | sort -k2 -r | head -n 10 二、pyt

>>阅读原文<<