Hadoop學習之路(1)騰訊雲搭建Hadoop3集羣

1主機名和IP配置

1.1主機名

1.首先使用root用戶名和root密碼分別登陸三臺服務器
2.分別在三臺虛擬機上執行命令:
hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname node3
3.分別在三臺服務器上執行logout

1.2 IP設置

systemctl restart network

2配置免密登陸

2.1 生成公鑰和私鑰

使用此命令：ssh-keygen -t rsa 分別在三臺機器中都執行一遍,這裏只在node1上作演示，其餘兩臺機器也須要執行此命令。

2.2 配置hosts文件

hosts文件中配置三臺機器ip和主機名的映射關係,其餘兩臺機器按照相同的方式操做：vi /etc/hosts
特別注意的是若是在雲服務器中配置，本節點的IP地址必定要配置內網地址

127.17.0.17是服務器node1的內網地址

127.17.0.7是服務器node2的內網地址

127.17.0.8是服務器node3的內網地址

2.3 拷貝公鑰文件

（1）將node1的公鑰拷貝到node2,node3上
（2）將node2的公鑰拷貝到node1,node3上
（3）將node3的公鑰拷貝到node1,node2上
如下以node1爲例執行祕鑰複製命令：ssh-copy-id -i 主機名

2.4驗證免密登陸配置

確保每個服務器到其餘服務器均可以避免密登陸
ssh node#
2.5添加本地認證公鑰到認證文件中
cd ~
cd .ssh/
cat id_rsa.pub >> authorized_keys

3安裝Hadoop

3.1建立hadoop用戶組和hadoop用戶

groupadd hadoop
useradd -g hadoop hadoop
id hadoop
設置密碼：passwd hadoop
chown -R hadoop:hadoop /home/hadoop/
chmod -R 755 /home/hadoop/
#把root用戶的環境變量文件複製並覆蓋hadoop用戶下的.bash_profile
cp .bash_profile /home/hadoop/

3.2Hadoop用戶進行免密登陸

*su - hadoop
source.bash_profile
ssh-keygen -t rsa
cd ~
chmod -R 755 .ssh/
chmod 644
chmod 600 id_rsa
chmod 600 id_rsa.pub
將node1的hadoop用戶公鑰拷貝到node2,node3上
將node2的hadoop用戶公鑰拷貝到node1,node3上
將node3的hadoop用戶公鑰拷貝到node1,node2上
ssh-copy-id -i 主機名
驗證免密登陸配置：ssh 主機名，確保每臺每臺服務器的hadoop用戶均可以避免密登陸其餘的服務器。
添加本地認證公鑰到認證文件中，對每臺服務器進行以下操做：
cat id_rsa.pub >> authorized_keys**

3.3配置Hadoop

（1）建立hadoop安裝目錄: mkdir -p /opt/bigdata
（2）解壓hadoop-3.1.2.tar.gz
tar -xzvf hadoop-3.1.2.tar.gz -C /opt/bigdata/
（3）配置Hadoop環境變量
vi .bash_profile
配置詳細信息：

JAVA_HOME=/usr/java/jdk1.8.0_211-amd64
HADOOP_HOME=/opt/bigdata/hadoop-3.1.2
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME
export HADOOP_HOME
export PATH

（4）驗證Hadoop環境變量
source .bash_profile
hadoop version
顯示出hadoop版本信息表示安裝和環境變量成功.

hadoop用戶下也須要按照root用戶配置環境變量的方式操做一下
（5）配置hadoop-env.sh
這個文件只須要配置JAVA_HOME的值便可,在文件中找到export JAVA_HOME字眼的位置，刪除最前面的#
cd /opt/bigdata/hadoop-3.1.2/etc/hadoop/
vi hadoop-env.sh
詳細配置：
export JAVA_HOME=/usr/java/jdk1.8.0_211-amd64
（6）配置core-site.xml
cd /opt/bigdata/hadoop-3.1.2/etc/hadoop/
vi core-site.xml

<configuration>
<!-- 指定hdfs的namenode主機的hostname -->
    <property>
        <name>fs.defaultFS</name>
      <value>hdfs://node1:9000</value>
    </property>
<!-- io操做流的配置 -->
<property>
        <name>io.file.buffer.size</name>
      <value>131072</value>
 </property>
<!--hadoop集羣臨時數據存儲目錄-->
     <property>
        <name>hadoop.tmp.dir</name>
      <value>/opt/bigdata/hadoop-3.1.2/tmpdata</value>
 </property>
</configuration>

（7）配置hdfs-site.xml
vi hdfs-site.xml

<configuration>
  <!--namenode元數據存儲目錄-->
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/bigdata/hadoop-3.1.2/hadoop/hdfs/name/</value>
  </property>
  <!--指定block塊的的大小-->
  <property>
    <name>dfs.blocksize</name>
    <value>268435456</value>
  </property>
  <!-- -->
  <property>
    <name>dfs.namenode.handler.count</name>
    <value>100</value>
  </property>
  <!--工做節點的數據塊存儲目錄 -->
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/bigdata/hadoop-3.1.2/hadoop/hdfs/data/</value>
  </property>
  <!--block的副本數-->
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
</configuration>

（8）配置mapred-site.xml
配置/opt/bigdata/hadoop-3.1.2/etc/hadoop/目錄下的mapred-site.xml
vi mapred-site.xml

<!--指定運行mapreduce的環境是yarn -->
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  <property>
    <name>mapreduce.application.classpath</name>
    <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*,
    $HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
  </property>
</configuration>

（9）配置yarn-site.xml
配置/opt/bigdata/hadoop-3.1.2/etc/hadoop/目錄下的yarn-site.xml
vi yarn-site.xml

<configuration>
<!--指定resourcemanager的位置-->
   <property>
     <name>yarn.resourcemanager.hostname</name>
     <value>node1</value>
   </property>
   <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
   </property>
   <property>
     <name>yarn.resourcemanager.address</name>
     <value>node1:18040</value>
   </property>
   <property>        
     <name>yarn.resourcemanager.scheduler.address</name>
     <value>node1:18030</value>
   </property>
   <property>
     <name>yarn.resourcemanager.resource-tracker.address</name>
     <value>node1:18025</value>
   </property>
   <property>        
     <name>yarn.resourcemanager.admin.address</name>
     <value>node1:18141</value>
   </property>
   <property>        
     <name>yarn.resourcemanager.webapp.address</name>
     <value>node1:18088</value>
   </property>
</configuration>

（10）編輯works
配置/opt/bigdata/hadoop-3.1.2/etc/hadoop/目錄下的works
vi works

（11）遠程複製hadoop到集羣機器
進入到root用戶家目錄下：cd ~
使用scp遠程拷貝命令將root用戶的環境變量配置文件複製到node2
scp .bash_profile root@node2:~
使用scp遠程拷貝命令將root用戶的環境變量配置文件複製到node3
scp .bash_profile root@node3:~
進入進入到hadoop的share目錄下
cd /opt/bigdata/hadoop-3.1.2/share/
刪除doc目錄,這個目錄存放的是用戶手冊，比較大，等會兒下面進行遠程複製的時候時間比較長，刪除後節約複製時間
rm -rf doc/
scp -r /opt root@node2:/
scp -r /opt root@node3:/

3.3.1使集羣全部機器環境變量生效

在node2，node3的root用戶家目錄下使環境變量生效
node2節點以下操做:
cd ~
source .bash_profile
hadoop version
node3節點一樣操做

3.3.2修改hadoop用戶hadoop安裝目錄的權限

node2，node3也須要進行以下操做
node1登錄root用戶
su root
chown -R hadoop:hadoop /opt/
chmod -R 755 /opt/
chmod -R g+w /opt/
chmod -R o+w /opt/

3.4格式化hadoop

su - hadoop
hdfs namenode -format

3.5啓動集羣

start-all.sh

在瀏覽器地址欄中輸入:http://192.168.200.11:9870查看namenode的web界面

3.6運行mapreduce程序

hdfs dfs -ls /
hdfs dfs -mkdir /test
hdfs dfs -ls /
touch words
vi words
hdfs dfs -put words /test
hdfs dfs -ls -r /test

**執行：hadoop jar /opt/bigdata/hadoop-3.1.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-
3.1.2.jar wordcount /test/words /test/output

**執行：hdfs dfs -text /test/output/part-r-00000

本文使用的是hadoop3.1.3
連接：https://pan.baidu.com/s/1n32rpv-GAjvt7hFZkOnWhw 提取碼：2jzu