Spark實現根據學科取得最受歡迎的老師的topn(小根堆和自定義排序實現)

第三步優化:假如數據量很是大的話,toList方法會產生內存溢出,使用treeSet方法能夠解決 treeset既能夠實現排序,還能有效的控制輸出的大小。java package day02 import java.net.URL import org.apache.spark.rdd.RDD import org.apache.spark.{Partitioner, SparkConf, S
相關文章
相關標籤/搜索