Spark API編程動手實戰-01-以本地模式進行Spark API實戰map、filter和co

首先以spark的本地模式測試spark API,以local的方式運行spark-shell:web



先從parallelize入手吧:shell



map操做後結果:編程



下面看下 filter操做:函數式編程


filter執行結果:函數


咱們用最正宗的scala函數式編程的風格:測試


執行結果:spa


從結果 能夠看出來,與以前那種分步奏方式結果是同樣的scala

但採用這種方式,便是複合scala風格的寫法,也是符合spark的應用程序風格的寫法,在spark的編程中,大多數功能的實現都是隻要一行代碼便可完成。orm

相關文章
相關標籤/搜索