Spark技術內幕：Shuffle Pluggable框架詳解，你怎麼開發本身的Shuffle Service？

首先介紹一下須要實現的接口。框架的類圖如圖所示（今天CSDN抽風，居然上傳不了圖片。若是須要實現新的Shuffle機制，那麼須要實現這些接口。apache 1.1.1  org.apache.spark.shuffle.ShuffleManager Driver和每一個Executor都會持有一個ShuffleManager，這個ShuffleManager能夠經過配置項spark.shuffle

>>阅读原文<<