hive on spark 性能參數調優

select * from stg_bankcard_auth_apply where length(idcardno) >= 1 and length(idcardno) <> 32; --該表存儲文件格式爲txt格式，是源文件直接load進來的，mapreduce運行無論任何sql(包括很是簡單的)，直接崩潰，沒法統計；文件65.5G，1.4億條數據 --一樣的sql統計;java set h

>>阅读原文<<