廣播變量和累加器的應用場景

共享變量 提供了兩種有限類型的共享變量,廣播變量和累加器。 我們在dirver中聲明的這些局部變量或者成員變量,可以直接在transformation中使用, 但是經過transformation操作之後,是不會將最終的結果重新賦值給dirver中的對應的變量。 因爲通過action,觸發了transformation的操作,transformation的操作,都是通過 DAGScheduler將
相關文章
相關標籤/搜索