Spark踩坑記：共享變量

前言 前面總結的幾篇spark踩坑博文中，我總結了自己在使用spark過程當中踩過的一些坑和經驗。我們知道Spark是多機器集羣部署的，分爲Driver/Master/Worker，Master負責資源調度，Worker是不同的運算節點，由Master統一調度。 而Driver是我們提交Spark程序的節點，並且所有的reduce類型的操作都會彙總到Driver節點進行整合。節點之間會將map/r

>>阅读原文<<