Spark核心RDD:計算函數compute

RDD的計算是惰性的,一系列轉換操做只有在遇到動做操做是纔會去計算數據,而分區做爲數據計算的基本單位。在計算鏈中,不管一個RDD有多麼複雜,其最終都會調用內部的compute函數來計算一個分區的數據。java 1.compute方法 RDD抽象類要求其全部子類都必須實現compute方法,該方法介紹的參數之一是一個Partition對象,目的是計算該分區中的數據。以 MapPartitionsRD
相關文章
相關標籤/搜索