10.1 spark core — spark內核

spark是開源的分佈式計算框架(源碼是scala編寫的) http://spark.apache.org/ 計算速度加快 編寫加快 hadoop:在hdfs讀取-->計算結果存到hdfs-->二次計算依然在hdfs上讀取-->輸出 spark:在hdfs上讀取-->計算結果存在內存中-->二次計算在內存中讀取-->輸出結果可以保存到hdfs上 spark有四種運行模式: local:多用在本地e
相關文章
相關標籤/搜索