Spark高級編程

介紹 咱們主要介紹兩種共享變量類型：accumulators聚合信息，broadcast有效的分發large values。node 當咱們的任務涉及到了須要大量的設置時間（好比建立數據庫鏈接或者隨機數生成），咱們能夠把這個設置時間share到多個數據items上面。python 除了Spark直接支持的語言外，咱們還可使用pipe()方法來與別的編程語言進行溝通，例如使用pipe()方法來訪問R

>>阅读原文<<