分享知識-快樂本身：大數據（hadoop）環境搭建

大數據 hadoop 環境搭建：

一）：大數據（hadoop）初始化環境搭建

二）：大數據（hadoop）環境搭建

三）：運行wordcount案例

四）：揭祕HDFS

五）：揭祕MapReduce

六）：揭祕HBase

七）：HBase編程

-----------------------------------------------------------------

1）：下載安裝 hadoop（這裏使用2.8版本：點我下載）

2）：經過 （xftp 或 rz 命令）上傳到指定目錄下並解壓到指定目錄（根據自行要求進行選擇存放位置）：如下爲小編存放目錄

//解壓到指定目錄
tar -zxvf hadoop-2.8.0.tar.gz  -C ../bigData/

3）：配置 hadoop 環境變量

vim /etc/profile

export HADOOP_HOME=/opt/bigData/hadoop-2.8.0 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

以後讓文件生效：

source /etc/profile

4）：hadoop 集羣搭建：

1）：進入 hadoop 的配置文件位置：

cd /opt/bigData/hadoop-2.8.0/etc/hadoop/

 2）：配置hadoop-env.sh文件

vim  hadoop-env.sh 

//在文件中加入[首先查看是否存在此節點，若是有能夠直接修改]（指定jdk絕對路徑）
export  JAVA_HOME=/opt/jdk/jdk1.8.0_191

3）：配置yarn-env.sh文件

vim yarn-env.sh

//在文件中加入[首先查看是否存在此節點，若是有能夠直接修改]（指定jdk絕對路徑）

export  JAVA_HOME=/opt/jdk/jdk1.8.0_191

4）：配置slaves文件，增長slave主機名或者IP地址：

vim slaves

//在文件中加入（刪除原有的localhost）
192.168.31.207
192.168.31.208 

 

5）：配置core-site.xml文件：

vim  core-site.xml

//在文件中的configuration節點裏加入
<property>    <name>fs.defaultFS</name>    <value>hdfs://admin:9000</value>
</property>

<property>      <name>hadoop.tmp.dir</name>      <value>/opt/bigData/hadoop-2.8.0/tmp</value>  </property>

6）：配置hdfs-site.xml文件

vim hdfs-site.xml

//在文件中的configuration節點裏加入
<property>     <name>dfs.namenode.secondary.http-address</name>     <value>admin:50090</value>
</property>

<property>     <name>dfs.replication</name>     <value>2</value>
</property>

<property>     <name>dfs.namenode.name.dir</name>     <value>file:/opt/bigData/hadoop-2.8.0/hdfs/name</value>
</property>

<property>     <name>dfs.datanode.data.dir</name>     <value>file:/opt/bigData/hadoop-2.8.0/hdfs/data</value>
</property>

7）：配置yarn-site.xml文件

vim yarn-site.xml

//在文件中的configuration節點裏加入
<property>      <name>yarn.nodemanager.aux-services</name>      <value>mapreduce_shuffle</value>
</property>

<property>     <name>yarn.resourcemanager.address</name>     <value>admin:8032</value>
</property>

<property>      <name>yarn.resourcemanager.scheduler.address</name>      <value>admin:8030</value>
</property>

<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<property>      <name>yarn.resourcemanager.resource-tracker.address</name>      <value>admin:8031</value>
</property>

<property>      <name>yarn.resourcemanager.admin.address</name>      <value>admin:8033</value>
</property>

<property>      <name>yarn.resourcemanager.webapp.address</name>      <value>admin:8088</value>
</property> 

8）：配置mapred-site.xml文件

mapred-site.xml.template 是存在的。

mapred-site.xml 不存在。

注意：先要copy一份。

cp mapred-site.xml.template mapred-site.xml

而後編輯：

vim mapred-site.xml

//新增如下內容
<property>     <name>mapreduce.framework.name</name>     <value>yarn</value>
</property>

<property>     <name>mapreduce.jobhistory.address</name>     <value>admin:10020</value>
</property>

<property>     <name>mapreduce.jobhistory.webapp.address</name>     <value>admin:19888</value>
</property>

9）：把配置好的hadoop文件複製到其餘的子機器中

scp -r /opt/bigData/hadoop-2.8.0  root@admin-01:/opt/bigData/hadoop-2.8.0 scp -r /opt/bigData/hadoop-2.8.0  root@admin-02:/opt/bigData/hadoop-2.8.0

10）：把配置好的/etc/profile複製到其餘兩個子機器中

scp /etc/profile  root@admin-01:/etc/profile
 scp /etc/profile  root@admin-02:/etc/profile

以後在每一個子機器中使用 source /etc/profile 使文件生效

11）：在master 主機器中運行

hdfs namenode -format //注意：格式化NameNode，會產生新的集羣id,致使NameNode和DataNode的集羣id不一致，集羣找不到已往數據。 //因此，格式NameNode時，必定要先刪除生成的 name 和 data數據 和log日誌，而後再格式化NameNode。

12）：在master 主機器中啓動hadoop環境:進入/opt/bigData/hadoop-2.8.0/sbin

./start-all.sh 啓動hadoop集羣 ./stop-all.sh    關閉hadoop集羣

jps 查看當前已啓動的服務

 

點我進行下一步的操做（運行wordcount案例）