《Spark技術內幕》第八章Storage模塊詳解

Storage模塊詳解 Storage模塊負責管理Spark計算過程中產生的數據，包括基於Disk的和基於Memory的。 用戶在實際編程中，面對的是RDD，可以將RDD的數據通過cache持久化，持久化的動作都是由Storage模塊完成的，包括Shuffle過程中的數據，也都是由Storage模塊管理的。 可以說RDD實現用戶的邏輯，而Storage管理用戶的數據。在Driver端和Execut

>>阅读原文<<