spark基礎知識四

圍繞spark的其他特性和應用。主要包括以下幾個方面 spark自定義分區 spark中的共享變量 spark程序的序列化問題 spark中的application/job/stage/task之間的關係 spark on yarn原理和機制 spark的資源分配方式 1. spark自定義分區 1.1 自定義分區說明 在對RDD數據進行分區時,默認使用的是HashPartitioner 該函數對
相關文章
相關標籤/搜索