HBase系列:利用SQL BulkLoad快速導入海量數據

HBase BulkLoad概述 直接用put命令將海量數據導入至HBase會耗費大量時間(HFile合併、Region分割等),而且用原生的put命令導入海量數據,會佔用HRegionServer很多資源,HBase集羣會變得壓力山大,集羣基本對外喪失寫的能力。 其實HBase中數據以HFile文件的形式存儲於HDFS,所以我們可以繞過HBase put API,直接將數據加工成HFile文件,
相關文章
相關標籤/搜索