hadoop的僞分佈式系統

1.下載hadoop

連接：https://pan.baidu.com/s/10HBQd57pA4OYNPXe8Dwx9g
提取碼：1wtk

運行hadoop須要Java環境，因此還須要安裝jdk

連接：https://pan.baidu.com/s/1BoLOw8ASWWX5Pm3P6wmFfw
提取碼：krta

2.配置環境

1.在opt文件夾下建立4個文件

mkdir install software test other

install：存放安裝包

software：存放軟件

test：存放測試文件

other：存放其餘

2.上傳安裝包

1.由於上傳須要使用終端模擬器，因此這裏我使用了xshell

      官網：https://xshell.en.softonic.com/

2.安裝lrzsz    yum install -y lrzsz

3.在install目錄下，運行 rz  ，選擇對應安裝包上傳

4.解壓兩個包  tar -zxvf 包名 -C ../software/

5.software目錄下，重命名倆個文件夾 mv 原名 修更名

3.配置到環境變量中

vim /etc/profile
　　命令模式 輸入一些命令 直接敲
　　　　G 到文件的末尾
　　　　2gg 進入第2行
　　　　p 粘貼
　　　　dd 刪除某一行
　　　　2dd 從當前的光標開始 刪除2行數據
　　編輯模式 修改當前文檔的內容 i I O o

　　尾行模式
　　　　Esc鍵 :打一個冒號 輸入一些尾行命令
　　　　set nu 開啓的行號
　　　　wq 　　 w write 寫入
　　　　　　　　q quit 退出

寫入:

JAVA_HOME=/opt/software/jdk8 （jdk文件夾名）
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
HADOOP_HOME=/opt/software/hadoop277（hadoop文件夾名）
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

而後退出，運行 source /etc/profile

運行 echo $PATH 查看路徑

4.配置主機名和映射

 vi /etc/sysconfig/network

　　hostname=hdp01  #你的主機名

 vi /etc/hostname

　　hdp01

vi /etc/hosts 

  　　192.168.1.108 ( 你的IP )  hdp01（你的主機名）

5.配置hadoop

 /opt/software/hadoop277文件夾下 6個配置文件：

hadoop-env.sh
　　25行 JAVA_HOME=/opt/software/jdk8 #JDK的存放目錄
　　33行 export HADOOP_CONF_DIR=/opt/software/hadoop277/etc/hadoop

core-site.xml
　　咱們在x-site中配置 實際上就是將系統原來的配置給覆蓋了
　　<configuration>
　　　　<property>
　　　　　　<name>fs.defaultFS</name>
　　　　　　<value>hdfs://主機名:9000</value>
　　　　</property>

　　　<property>
　　　　　　<name>hadoop.tmp.dir</name>
　　　　　　<value>/opt/software/hadoop277/tmp</value>
　　　</property>

　　</configuration>

hdfs-site.xml
　　<configuration>
　　　　<property>
　　　　　　<name>dfs.replication</name>
　　　　　　<value>1</value>
　　　　</property>
　　</configuration>

運行cp mapred-site.xml.template mapred-site.xml
mapred-site.xml
　　<configuration>
　　　　<property>
　　　　　　<name>mapreduce.framework.name</name>
　　　　　　<value>yarn</value>
　　　　</property>
　　</configuration>

yarm-site.xml

　　<configuration>

　　　　<!-- Site specific YARN configuration properties -->
　　　　<property>
　　　　　　<name>yarn.resourcemanager.hostname</name>
　　　　　　<value>主機名</value>
　　　　</property>

　　　　<property>
　　　　　　<name>yarn.nodemanager.aux-services</name>
　　　　　　<value>mapreduce_shuffle</value>
　　　　</property>

　　</configuration>

slaves
　　加入 主機名

3.啓動服務器

1.啓動服務器以前

1.格式化文件系統 hadoop namenode -format

   若是出現has been successfully formatted，代表格式化成功

2.配置免密

   ssh-keygen   #生成公鑰，一直確認就行

   ssh-copy-id  hdp01    #hdp01爲主機名

2.啓動服務器　

    start-all.sh 開啓
    stop-all.sh 關閉

3.啓動服務器以後

    查看是否啓動成功，運行 jps         #java/bin 裏面的命令 監測當前進程中那些是java進程
         12305 NameNode 軟件 web工程 50070端口
         12401 DataNode 軟件 web工程 50075端口
         12740 ResourceManager 軟件 8088端口
         12566 SecondaryNameNode 軟件 web工程 50090端口
         12838 NodeManager 軟件

    查看系統端口 net-tools 這個工具包下面的子軟件  yum install -y net-tools

　　  netstat -nltup