spark計算用戶訪問學科子網頁的top3

項目說明：附件爲要計算數據的demo。點擊打開鏈接 利用spark的緩存機制，讀取需要篩選的數據，自定義一個分區器，將不同的學科數據分別放到一個分區器中，並且根據指定的學科，取出點擊量前三的數據，並寫入文件。 具體程序如下： 1、項目主程序： package cn.allengao.Location import java.net.URL

>>阅读原文<<