Spark源碼分析8-client 如何選擇將task提交給那個excutor

spark中很重要的一點就是task具體分配到哪個excutor上執行,如果分配不合理,將會消耗很多額外的資源。例如:executor1用flume receiver接收到數據,並將數據保存到block1上,excutor2用flume receiver接收到數據,並將數據保存到block2上。RDD將有兩個patition,將對應產生兩個task. task1處理block1,task2處理bl
相關文章
相關標籤/搜索