Spark執行環境——廣播管理器BroadcastManager

BroadcastManager用於將配置信息序列化後的RDD、Job及ShuffleDependency等信息在本地存儲，如果爲了容災，也會複製到其他節點上。創建BroadcastManager的代碼實現如下： //org.apache.spark.SparkEnv val broadcastManager = new BroadcastManager(isDriver, conf, secur

>>阅读原文<<