spark數據分析引擎

簡介 spark是專爲大規模數據處理而設計的快速通用的計算引擎 . spark既可以批處理也可以做流式處理 spark運行速度比mapreduce快大約10倍 . 在機器學習 ,人工智能的邏輯迴歸迭代算法場景下spark運行速度比mapreduce大約快100多倍 . mapreduce在計算過程中涉及到本地磁盤的讀寫 , spark的數據流轉都是在內存中完成的 . spark涉及到DAG(有向無

>>阅读原文<<