3-spark學習筆記-SparkAPI

API詳解如下所示: 具體操作如下所示: Transformer操作: 1、Map 2、filter 3、flatMap 4、mapPartitions 5、mapPartitionsWithIndex 6、repartition (數據分配不均、性能擴展比較慢,需要repartition 比較消耗資源,進行shuffle操作) 7、coalesce  (減少partition操作 不做shuff
相關文章
相關標籤/搜索