Alluxio 幫助去哪兒網酒店數據業務最高提速300x

Alluxio是分佈式的數據緩存層,獨立的服務,API兼容HDFS,充分利用單機的文件緩存和層次化的數據存儲方式,讓上層分佈式應用業務訪問數據可以充分享受高效緩存所帶來的性能提升。去哪兒酒店業務中,混合了大數據實時處理業務類型,也有批量數據處理業務,還有既有Hive(MapReduce)作業,也有Spark批處理作業,這些應用程序之間通過數據進行銜接,作爲中間數據落盤隨即被讀取,小文件問題,高效率
相關文章
相關標籤/搜索