Spark之 SparkSql整合hive

整合：

1，須要將hive-site.xml文件拷貝到Spark的conf目錄下，這樣就能夠經過這個配置文件找到Hive的元數據以及數據存放位置。

2，若是Hive的元數據存放在Mysql中，咱們還須要準備好Mysql相關驅動，好比：mysql-connector-java-5.1.35.jar。

測試：

先啓動hadoop集羣，在啓動spark集羣，確保啓動成功以後執行命令：

spark-sql --master spark://bigdata-01:7077  --executor-memory 1g  --total-executor-cores 2 --conf spark.sql.warehouse.dir=hdfs://bigdata-01:9000/user/hive/warehouse


--spark.sql.warehouse.dir=hdfs://bigdata-01:9000/user/hive/warehouse 是把warehose元數據信息放到hdfs上

日誌太多，咱們能夠修改spark的日誌輸出級別(conf/log4j.properties)。