RDD用法與實例(十一)Spark中master、worker、executor和driver的關係,通過broadcast形成共享和直接生成全局變量的區別

Spark中master、worker、executor和driver的關係 參考來源1 master是大哥,worker是工人小弟們。master大哥有一個副手老二叫driver,手上管着一批貨物executor(memory cpu等資源),老二會問大哥咋分給小弟們呢,大哥說哎,就這麼分,張三比較菜(worker)搬兩箱(executor),李四能者多勞(worker)搬五箱(executor
相關文章
相關標籤/搜索