Hive學習系列一--安裝部署

Hive的認識

    Hive 是基於Hadoop 構建的一套數據倉庫分析系統，它提供了豐富的SQL查詢方式來分析存儲在Hadoop 分佈式文件系統中的數據，能夠將結構化的數據文件映射爲一張數據庫表，並提供完整的SQL查詢功能，能夠將SQL語句轉換爲MapReduce任務進行運行，經過本身的SQL 去查詢分析須要的內容，這套SQL 簡稱Hive SQL，使不熟悉mapreduce 的用戶很方便的利用SQL 語言查詢，彙總，分析數據。而mapreduce開發人員能夠把自己寫的mapper 和reducer 做爲插件來支持Hive 作更復雜的數據分析。
     它與關係型數據庫的SQL 略有不一樣，但支持了絕大多數的語句如DDL、DML 以及常見的聚合函數、鏈接查詢、條件查詢。HIVE不適合用於聯機（online)事務處理，也不提供實時查詢功能。它最適合應用在基於大量不可變數據的批處理做業。

    HIVE的特色：可伸縮（在Hadoop的集羣上動態的添加設備），可擴展，容錯，輸入格式的鬆散耦合

Hive的安裝步驟

    前奏：hadoop版本2.6.0，hive版本1.2.1（開始安裝版本爲1.1.1，後發現不少問題，修改成1.2.1），jdk版本1.7

一、下載apache-hive-1.1.1-bin.tar.gz複製到/opt目錄下解壓tar zxvf apache-hive-1.1.1-bin.tar.gz

二、進入conf目錄下，複製template文件

    a) hive-default.xml.template --> hive-default.xml

    b) hive-env.sh.template --> hive-env.sh

    c) hive-log4j.properties.template --> hive-log4j.properties

    d) hive-exec-log4j.properties.template --> hive-exec-log4j.properties

三、修改hive-env.sh文件，打開下面的註釋

    a) # export HADOOP_HEAPSIZE=1024

    b) #HADOOP_HOME=/hadoop/hadoop-1.0.4

    c) #export HIVE_CONF_DIR=/hive/hive-0.9.0/conf

四、先啓動hadoop,而後進入hive-1.1.1/bin目錄下執行./hive

    a) 報錯爲：Terminal initialization failed; falling back to unsupported，

        具體錯誤爲：

            ERROR] Terminal initialization failed; falling back to unsupported

            java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but              interface was expected

            解決方法：刪除位於$HADOOP_HOME/share/hadoop/yarn/lib/jline-0.9.94.jar 的 jline-0.9.94.jar 文件，從新啓動hadooop,hive便可