spark

#spark到底解決了什麼根本性的技術問題？ ##產生的技術環境 避免在多種運算場景，多種集羣部署 集羣計算數據，典型的思想mr,後來最重要的是hadoop,分佈式集羣，會把編程簡化爲位置感知、容錯、負載均衡，在集羣上操作超大數據，這種模式是數據流的方式；hdfs->計算->hdfs tez dag 基於數據流的dag雖然實現任務調度和故障恢復，但是每次操作讀寫磁盤，如果同樣一次操作，如果第二次操

>>阅读原文<<