Spark讀取Hive數據寫入Hbase

使用spark方式寫入java 在使用Spark時常常須要把數據落入HBase中,若是使用普通的Java API,寫入會速度很慢。還好Spark提供了Bulk寫入方式的接口。那麼Bulk寫入與普通寫入相比有什麼優點呢?sql BulkLoad不會寫WAL,也不會產生flush以及split。 若是咱們大量調用PUT接口插入數據,可能會致使大量的GC操做。除了影響性能以外,嚴重時甚至可能會對HBas
相關文章
相關標籤/搜索