spark架構設計&編程模型 02

啓動spark-shell: 簡單的RDD: 上述代碼中使用的sc,這是Spark-Shell幫助我們自動生成的SparkContext的實例: 我們把生成的RDD的每個元素都乘以3: 上述的操作都是transformations我們需要觸發一個action才能執行: 我們可以看到預期結果,但我們可以看到collect操作返回的是一個Array,所以數據不要太多,否則會出現OOM 下面執行下fil
相關文章
相關標籤/搜索