Spark經典案例2-數據去重

/** * 業務場景：數據去重問題 * Created by YJ on 2017/2/7. * 統計數據,儘可能用reduceByKey,不要用groupByKey,優化點 * reduceByKey,在本機suffle後,再發送一個總map，發送到一個總機器上彙總，（彙總要壓力小） * groupByKey,發送本機全部的map,在一個機器上彙總（彙總壓力大） */ /*web 數據格式 fl

>>阅读原文<<