大數據學習系列之四 ----- Hadoop+Hive環境搭建圖文詳解(單機)

時間  2019-11-12
標籤 數據 學習 系列 之四 hadoop+hive hadoop hive 環境 搭建 圖文 詳解 單機 欄目 Hadoop 简体版
原文   原文鏈接

引言

在大數據學習系列之一 ----- Hadoop環境搭建(單機) 成功的搭建了Hadoop的環境，在大數據學習系列之二 ----- HBase環境搭建(單機)成功搭建了HBase的環境以及相關使用介紹。本文主要講解如何搭建Hadoop+Hive的環境。java

1、環境準備

1，服務器選擇

本地虛擬機
操做系統:linux CentOS 7
Cpu：2核
內存：2G
硬盤:40Gnode

說明:由於使用阿里雲服務器每次都要從新配置，並且還要考慮網絡傳輸問題，因而本身在本地便搭建了一個虛擬機，方便文件的傳輸以及相關配置，缺點是原本卡的電腦就變得更卡了。具體教程和使用在上一遍博文中。
地址: http://blog.csdn.net/qazwsxpcm/article/details/78816230。mysql

2，配置選擇

JDK:1.8 （jdk-8u144-linux-x64.tar.gz）
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)
Hive： 2.1 (apache-hive-2.1.1-bin.tar.gz)linux

3，下載地址

JDK：
http://www.oracle.com/technetwork/java/javase/downloads
Hadopp:
http://www.apache.org/dyn/closer.cgi/hadoop/common
Hive
http://mirror.bit.edu.cn/apache/hive/sql

百度雲盤:
連接：https://pan.baidu.com/s/1slxBsHv 密碼：x51ishell

2、服務器的相關配置

在配置Hadoop+Hive以前，應該先作一下配置。
作這些配置爲了方便，使用root權限。數據庫

1，更改主機名

首先更改主機名，目的是爲了方便管理。
輸入:apache

hostname

查看本機的名稱
而後更改主機名爲master
輸入:vim

hostnamectl set-hostname master

注:主機名稱更改以後，要重啓(reboot)纔會生效。瀏覽器

2，作IP和主機名的映射

修改hosts文件，作關係映射
輸入

vim /etc/hosts

添加
主機的ip 和 主機名稱

192.168.238.128 master

3，關閉防火牆

關閉防火牆，方便訪問。

CentOS 7版本如下輸入:
關閉防火牆

service   iptables stop

CentOS 7 以上的版本輸入：

systemctl stop firewalld.service

3，時間設置

查看當前時間
輸入:

date

查看服務器時間是否一致，若不一致則更改
更改時間命令

date -s ‘MMDDhhmmYYYY.ss’

3、Hadoop安裝和配置

Hadoop的具體配置在大數據學習系列之一 ----- Hadoop環境搭建(單機) 中介紹得很詳細了。因此本文就大致介紹一下。
注:具體配置以本身的爲準。

1，環境變量設置

編輯 /etc/profile 文件 :

vim /etc/profile

配置文件:

export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

2，配置文件更改

先切換到 /home/hadoop/hadoop2.8/etc/hadoop/ 目錄下

3.2.1 修改 core-site.xml

輸入:

vim core-site.xml

在 添加: 

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>
</configuration>

3.2.2修改 hadoop-env.sh

輸入:

vim hadoop-env.sh

將${JAVA_HOME} 修改成本身的JDK路徑

export   JAVA_HOME=${JAVA_HOME}

修改成：

export   JAVA_HOME=/home/java/jdk1.8

3.2.3修改 hdfs-site.xml

輸入:

vim hdfs-site.xml

在 添加: 

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

3.2.4 修改mapred-site.xml

若是沒有 mapred-site.xml 該文件，就複製mapred-site.xml.template文件並重命名爲mapred-site.xml。
輸入:

vim mapred-site.xml

修改這個新建的mapred-site.xml文件，在 節點內加入配置: 

<property>
    <name>mapred.job.tracker</name>
    <value>master:9001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

3，Hadoop啓動

啓動以前須要先格式化
切換到/home/hadoop/hadoop2.8/bin目錄下
輸入:

./hadoop  namenode  -format

格式化成功後，再切換到/home/hadoop/hadoop2.8/sbin目錄下
啓動hdfs和yarn
輸入:

start-dfs.sh
start-yarn.sh

啓動成功後，輸入jsp查看是否啓動成功
在瀏覽器輸入 ip+8088 和ip +50070 界面查看是否能訪問
能正確訪問則啓動成功

4、Mysql安裝

由於Hive的默認元數據是Mysql，因此先要安裝Mysql。
Mysql有兩種安裝模式，可自行選擇。

1，yum安裝

首先查看mysql 是否已經安裝
輸入：

rpm -qa | grep mysql

若是已經安裝，想刪除的話
輸入:
普通刪除命令:

rpm -e mysql

強力刪除命令:

rpm -e --nodeps mysql

依賴文件也會刪除

安裝mysql
輸入:

yum list mysql-server

若是沒有，則經過wget命令下載該包
輸入:

wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm

下載成功以後，再輸入命令安裝

yum install mysql-server

在安裝過程當中遇到選擇輸入y就好了


安裝成功後，輸入 service mysqld start 啓動服務

輸入:
mysqladmin -u root -p password '123456'
來設置密碼
輸入以後直接回車(默認是沒有密碼的)
而後再輸入
mysql -u root -p

經過受權法更改遠程鏈接權限
輸入: grant all privileges on . to 'root'@'%' identified by '123456';
注:第一個’root’是用戶名,第二個’%’是全部的ip均可以遠程訪問,第三個’123456’表示 用戶密碼 若是不經常使用 就關閉掉
輸入:flush privileges; //刷新

在防火牆關閉以後，使用SQLYog之類的工具測試是否能正確鏈接

2，編譯包安裝

Mysql文件準備

將下載好的mysql安裝包上傳到linux服務器
解壓mysql解壓包，並移動到/usr/local目錄下，重命名爲mysql。
命令:

tar -xvf mysql-5.6.21-linux-glibc2.5-x86_64.tar.gz
mv mysql-5.6.21-linux-glibc2.5-x86_64 /usr/local
cd /usr/local
mv mysql-5.6.21-linux-glibc2.5-x86_64 mysql

注: mysql默認的路徑是就是/usr/local/mysql ，若是安裝的地方更改，須要更改相應的配置文件。

安裝mysql

切換到mysql的目錄 /usr/local/mysql
輸入：

./scripts/mysql_install_db --user=mysql

成功安裝mysql以後，輸入:

service mysql start  或  /etc/init.d/mysql start

查看是否啓動成功
輸入:

ps -ef|grep mysql

切換到 /usr/local/mysql/bin 目錄下
設置密碼
mysqladmin -u root password '123456'入mysql
輸入:

mysql -u root -p

設置遠程鏈接權限
輸入:
grant all privileges on . to 'root'@'%' identified by '123456';
而後輸入:
flush privileges;

說明: 第一個’root’是用戶名,第二個’%’是全部的ip均可以遠程訪問,第三個’123456’表示用戶密碼 若是不經常使用就關閉掉。

使用本地鏈接工具鏈接測試

5、Hive環境安裝和配置

1，文件準備

將下載下來的Hive 的配置文件進行解壓
在linux上輸入:

tar -xvf  apache-hive-2.1.1-bin.tar.gz

而後移動到/opt/hive 裏面，將文件夾重命名爲 hive2.1
輸入

mv  apache-hive-2.1.1-bin  /opt/hive
mv apache-hive-2.1.1-bin hive2.1

2，環境配置

編輯 /etc/profile 文件
輸入:

vim /etc/profile

添加:

export HIVE_HOME=/opt/hive/hive2.1
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${HADOOP_HOME}/bin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:$PATH

注:實際配置以本身的爲準！
輸入:

source  /etc/profile

使配置生效

3，配置更改

5.3.1新建文件夾

在修改配置文件以前，須要先在root目錄下創建一些文件夾。

mkdir /root/hive
mkdir /root/hive/warehouse

新建完該文件以後，須要讓hadoop新建/root/hive/warehouse 和 /root/hive/ 目錄。
執行命令：

$HADOOP_HOME/bin/hadoop fs -mkdir -p /root/hive/
$HADOOP_HOME/bin/hadoop fs -mkdir -p /root/hive/warehouse

給剛纔新建的目錄賦予讀寫權限，執行命令：

$HADOOP_HOME/bin/hadoop fs -chmod 777 /root/hive/
$HADOOP_HOME/bin/hadoop fs -chmod 777 /root/hive/warehouse

檢查這兩個目錄是否成功建立
輸入:

$HADOOP_HOME/bin/hadoop fs -ls /root/
$HADOOP_HOME/bin/hadoop fs -ls /root/hive/

能夠看到已經成功建立

5.3.2 修改hive-site.xml

切換到 /opt/hive/hive2.1/conf 目錄下
將hive-default.xml.template 拷貝一份，並重命名爲hive-site.xml
而後編輯hive-site.xml文件

cp hive-default.xml.template hive-site.xml
vim hive-site.xml

編輯hive-site.xml文件，在 中添加: 

<!-- 指定HDFS中的hive倉庫地址 -->  
  <property>  
    <name>hive.metastore.warehouse.dir</name>  
    <value>/root/hive/warehouse</value>  
  </property>  

<property>
    <name>hive.exec.scratchdir</name>
    <value>/root/hive</value>
  </property>

  <!-- 該屬性爲空表示嵌入模式或本地模式，不然爲遠程模式 -->  
  <property>  
    <name>hive.metastore.uris</name>  
    <value></value>  
  </property>  

<!-- 指定mysql的鏈接 -->
 <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
<!-- 指定驅動類 -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
   <!-- 指定用戶名 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- 指定密碼 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <property>
   <name>hive.metastore.schema.verification</name>
   <value>false</value>
    <description>
    </description>
 </property>

而後將配置文件中全部的

${system:java.io.tmpdir}

更改成 /opt/hive/tmp (若是沒有該文件則建立)，
並將此文件夾賦予讀寫權限，將
${system:user.name}
更改成 root

例如:
更改以前的:

更改以後:

配置圖:

注: 因爲hive-site.xml 文件中的配置過多，能夠經過FTP將它下載下來進行編輯。也能夠直接配置本身所需的，其餘的能夠刪除。 MySQL的鏈接地址中的master是主機的別名，能夠換成ip。

5.3.3 修改 hive-env.sh

修改hive-env.sh 文件，沒有就複製 hive-env.sh.template ，並重命名爲hive-env.sh

在這個配置文件中添加

export  HADOOP_HOME=/opt/hadoop/hadoop2.8
export  HIVE_CONF_DIR=/opt/hive/hive2.1/conf
export  HIVE_AUX_JARS_PATH=/opt/hive/hive2.1/lib

5.3.4 添加 數據驅動包

因爲Hive 默認自帶的數據庫是使用mysql，因此這塊就是用mysql
將mysql 的驅動包 上傳到 /opt/hive/hive2.1/lib

6、Hive Shell 測試

在成功啓動Hadoop以後
切換到Hive目錄下
輸入:

cd /opt/hive/hive2.1/bin

首先初始化數據庫
初始化的時候注意要將mysql啓動
輸入:

schematool  -initSchema -dbType mysql

執行成功以後，能夠看到hive數據庫和一堆表已經建立成功了

切換到 cd /opt/hive/hive2.1/bin
進入hive (確保hadoop以及成功啓動)
輸入:

hive

進入hive 以後
作一些簡單的操做
新建一個庫，而後在建一張表
基本操做和普通的關係型數據庫差很少
建立庫:

create database db_hiveTest;

建立表:

create  table  db_hiveTest.student(id int,name string)  row  format  delimited  fields   terminated  by  '\t';

說明: terminated by '\t' 表示文本分隔符要使用Tab，行與行直接不能有空格。

加載數據
新打開一個窗口
由於hive 不支持寫，因此添加數據使用load加載文本獲取。
新建一個文本

touch  /opt/hive/student.txt

編輯該文本添加數據
輸入:

vim /opt/hive/student.txt

添加數據:
中間的空格符使用Tab建

1001    zhangsan
1002    lisi
1003    wangwu

說明: 文本能夠在Windows上面新建，而後經過ftp上傳到linux中，須要注意文本的格式爲unix 格式。

切換到hive shell
加載數據
輸入:

load data local inpath '/opt/hive/student.txt'  into table db_hivetest.student;

而後查詢該數據
輸入：

select * from db_hiveTest.student;

本文的Hadoop+Hive的配置就到此結束了，謝謝閱讀！

其它

更多的hive使用請參考官方文檔 https://cwiki.apache.org/confluence/display/Hive/LanguageManual 環境搭建參考: http://blog.csdn.net/pucao_cug/article/details/71773665

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程