Spark實例TopN---Spark學習筆記11

Spark是基於內存的分佈式計算框架，性能是十分彪悍的。java 話接上回，部署完Spark集羣以後，想要測試一下，Spark的性能。python 一、環境 集羣概況能夠參見Spark Hadoop集羣部署與Spark操做HDFS運行詳解。web 如今集羣裏有一大約7G的文件，是手機號和IP地址的組合。sql hadoop dfs -dus /dw/spark/mobile.txt hdfs://

>>阅读原文<<