Spark 1.2 發佈，開源集羣計算系統

Spark 1.2 發佈，此版本包括 172 位貢獻者和超過 1000 個 commits。

此版本包括

• Spark 核心操做和性能改進；

• 添加新的網絡傳輸子系統，進行了較大的改進；

• Spark SQL 引入了一個外部數據源的支持，支持 Hive13；

• 動態分區；

• fixed-precision decimal type；

• MLlib 添加了一個新的面向管道包 (spark.ml)，組合多個算法；

• Spark Streaming 添加了一個 Python API，提早寫錯誤容錯日誌；

• GraphX 正式脫離 Alpha 版本，引入了一個穩定的 API。

更多內容請看發行說明，現已提供下載。

Spark 是一種與 Hadoop 類似的開源集羣計算環境，可是二者之間還存在一些不一樣之處，這些有用的不一樣之處使 Spark 在某些工做負載方面表現得更加優越，換句話說，Spark 啓用了內存分佈數據集，除了可以提供交互式查詢外，它還能夠優化迭代工做負載。

Spark 是在 Scala 語言中實現的，它將 Scala 用做其應用程序框架。與 Hadoop 不一樣，Spark 和 Scala 可以緊密集成，其中的 Scala 能夠像操做本地集合對象同樣輕鬆地操做分佈式數據集。

盡 管建立 Spark 是爲了支持分佈式數據集上的迭代做業，可是實際上它是對 Hadoop 的補充，能夠在 Hadoo 文件系統中並行運行。經過名爲 Mesos 的第三方集羣框架能夠支持此行爲。Spark 由加州大學伯克利分校 AMP 實驗室 (Algorithms, Machines, and People Lab) 開發，可用來構建大型的、低延遲的數據分析應用程序。

相關連接

• Spark 的詳細介紹：請點這裏

• Spark 的下載地址：請點這裏

想經過手機客戶端（支持 Android、iPhone 和 Windows Phone）訪問開源中國：請點這裏

                本站文章除註明轉載外，均爲本站原創或編譯
歡迎任何形式的轉載，但請務必註明出處，尊重他人勞動共創開源社區
轉載請註明：文章轉載自：開源中國社區 [http://www.oschina.net]
本文標題：Spark 1.2 發佈，開源集羣計算系統
本文地址：http://www.oschina.net/news/58096/spark-1-2