使用spark對文件內容進行分組

1.首先打開spark 命令： bin/spark-shell 2.在spark中創建一個文件夾，在裏面創建2個TXT文件 3 執行命令 sc 是上下文執行文件 textFile(「input」)是指定文件夾，.flatMap(.split(" ")) 是進行分組 .map((,1))是一種轉化結構，.reduceByKey(+)是分組聚合 .collect打印結果 scala> sc .text

>>阅读原文<<