Spark實現Hadoop簡單實例

衆所周知，在hadoop中的主要操做是map和reduce，只有單純的兩種操做形成使用hadoop去編寫去重、排序等簡單實例須要不少的代碼，至少須要一個map過程、一個reduce過程以及一個Job的配置。而在Spark中具備更加豐富的操做，增長了reduceBykey、union、distinct等近十種操做，同時匿名函數以及流式處理的方式使得不少實例的實現僅僅須要一行代碼，對於代碼的編寫者來講

>>阅读原文<<