深刻分析Spark Core中的多種核心技術

Spark Core,主要提供Spark應用的運行時環境,包括如下功能:算法 基礎能力:網絡 SparkConf:用於管理Spark應用程序的各類配置信息;框架 內置的基於Netty的RPC框架,包括同步和異步的多種實現。RCP框架時Spark各組件間通訊的基礎;異步 事件總線: SparkContext內部各組件間使用事件—監聽器模式異步調用的實現;分佈式 度量系統:由Spark中的多種度量源(
相關文章
相關標籤/搜索