saprk筆記（一）--經常使用spark算子

1.mapPartitionsjava         映射分區。對rdd中的每一個分區進行映射。 數據庫 2.union網絡         rdd1.union(rdd2)。該結果的分區數是rdd1和rdd2的分區數之和。 ide 3.intersection函數         計算兩個rdd的交集，須要shuffle過程。交集後的rdd分區數是參與計算的兩個分區數的最大值。 spa 4.d

>>阅读原文<<