Spark SQL讀取HBase中數據的優化

     在項目過程當中中,咱們會常常使用Spark SQL去查詢/分析HBase中的數據,內置的讀取數據源使用的是TableInputFormat ,這個TableInputFormat 有一些缺點:sql 一個Task裏面只能啓動一個Scan取HBase中讀取數據; TableInputFormat 中不支持BulkGet 不能享受到Spark SQL內置的catalyst引擎的優化    
相關文章
相關標籤/搜索