Spark取出(Key,Value)型數據中Value值爲前n條數據

最近在使用Spark進行一些日誌分析,需要對日誌中的一些(key,value)型數據進行排序,並取出value最多的10條數據。經過查找資料,發現Spark中的top()函數可以取出排名前n的元素,以及sortBy()函數可以對(key,value)數據根據value進行排序,原以爲一切都很好解決,但是實際情況並沒有得到想要的結果數據,研究了部分源碼,才最終達到了想要的數據,特在此備註和分享。  
相關文章
相關標籤/搜索