Spark操做hive示例代碼

1. 1. 示例代碼

val sparkConf = new SparkConf().setAppName("hive example")     

    val sc = new SparkContext(sparkConf)                                         

    val hiveContext = new HiveContext(sc)                                        

    val tableName="hive_test";

             

    var spark = SparkSession

      .builder()

      .appName("Spark SQL basic example")

      .config("spark.sql.warehouse.dir","hdfs://10.37.154.84:8020/user/hive/warehouse")

      .enableHiveSupport()

      .getOrCreate()

 

    spark.sql("SELECT * FROM hive_test").show()

 

1. 1. 版本問題

當spark2.2和hadoop2.6安裝在不一樣的集羣，同時hive和hadoop安裝在一塊兒的時候，若是要使用spark sql訪問hive，須要將hive的hive-site.xml複製到spark的conf目錄中。

同時，spark2.2默認是訪問hive1.2.0版本的，而hive2.2.0的客戶端會和spark2.2存在版本不一致，在默認狀況下，意味着二者不能並存，由於他們會各類將本身的版本信息寫到hive的metastore中。

解決辦法是有的。首先設置屬性：

<property>

               <name>hive.metastore.schema.verification</name>

           <value>false</value>

    </property>

這樣在使用的時候不檢查hive的version，也就不會引發version不一致的衝突。

其次在spark中使用的時候，設置如下兩個屬性：

<property>

<name>spark.sql.hive.metastore.version</name>

<value>2.1.0</value>

</property>

 

<property>

<name>spark.sql.hive.metastore.jars</name>

<value>file:////home/spark/hivelib/hive-metastore-2.2.0.jar</value>

</property>

 

設置hive的metastore版本號和新的jar包地址。

通過實踐這樣均可以操做了。

這些開源框架必定要注意各個版本之間的兼容問題，不少時間要看看源碼才能找到答案。