spark集羣模式概覽

本文簡短概述下spark如何在集羣上運行，使得更簡單地理解涉及到的組件。可以通過讀」應用提交指南」來學習在一個集羣上加載應用。 組件 spark應用作爲獨立的進程集運行在集羣上，在主應用（稱爲驅動程序）中通過SparkContext來協調調度。 特別地，運行在集羣上，SparkContext能夠連接多種類型的集羣管理者（spark自己的集羣管理，Mesos或YARN）,實現跨應用分配資源。一旦連接

>>阅读原文<<