hive spark mysql

個人spark hive架構的問題，是沒有把hive/conf/hive.site.xml 放到spark/conf目錄下

ln -s  hive/conf/hive.site.xml /spark/conf/

問題解決。以前有在hive.site.xml

<property>

    <name>hive.metastore.uris</name> 

    <value>thrift://啓動spark所在ip：9083</value>

</property>

<property> 

     <name>hive.execution.engine</name>

     <value>spark</value>

     <description>set hive engine</description>

</property>

 

又執行了hive --servce metastore &  //後臺運行

 

用jps  裏面有hive的服務 run.jar  ** 必需要啓動hive服務  **

 

用spark-submit 提交任務 

 

 

ok 

 代碼裏面  不用書寫.config("spark.sql.warehouse.dir", warehouseLocation) 不用配置 由於讀取hive-site.xml文件