電商用戶畫像環境搭建

衆所周知,Hive的執行任務是將hql語句轉化爲MapReduce來計算的,Hive的整體解決方案很不錯,但是從查詢提交到結果返回需要相當長的時間,查詢耗時太長。這個主要原因就是由於Hive原生是基於MapReduce的,那麼如果我們不生成MapReduce Job,而是生成Spark Job,就可以充分利用Spark的快速執行能力來縮短HiveHQL的響應時間。 本項目採用SparkSql與hi
相關文章
相關標籤/搜索