開源點雲數據處理 開源_開源和公共雲團隊創造了100 TB的世界紀錄

開源點雲數據處理 開源 2014年10月，Databricks參加了「排序基準」，並創造了新的世界紀錄，用於排序100 TB的數據或1萬億個100字節的記錄。 該團隊在207個EC2虛擬機上使用了Apache Spark ，並在23分鐘內分類了100 TB的數據。 相比之下，由Hadoop MapReduce創下的上一個世界紀錄在一個私有數據中心中使用了2100臺機器，花費了72分鐘。 該條目與建

>>阅读原文<<