不得不收藏的大數據Hadoop教程：Hadoop集羣搭建

搭建環境安裝時間同步Yum install -y ntpdate 網絡時間同步命了 服務器地址是阿里雲ntpdate ntp1.aliyun.com 手動時間同步方式date -s "20190622 12:32:00"  #yyyymmdd hh:mm:ss徹底分佈式服務器namenodesecondaryNameNodedatanode    Hadoop01有      Hadoop02 有有    Hadoop03  有Hadoop04  有Ps:這裏咱們已經將時間同步,主機名稱,網絡通訊,hosts映射都作完,以上步驟省略



上傳到目錄中而後進行解壓




後面的路徑本身寫進入到對應的路徑 就能夠查看版本了配置環境變量是爲了之後方便使用







將進入和這個裏配置環境變量,這是一個全局的環境變量誰均可以使用了在最後添加




保存退出 而後而後從新加載資源文件




而後執行java -version 1.先解壓hadoop安裝包 到 /opt/softwar/路徑下




2. 修改配置文件先修改 /hadoop2.7.1/etc/hadoop/hadoop-env




3.修改相同路徑下 core-site.xml hdfs-site.xml

修改core-site.xml內容





修改hdfs-site.xml




4. 添加從節點(datanode) 相同路徑下 slaves



5.添加hadoop路徑做爲全局

修改 vi /etc/profile



從新加載資源



source /etc/profile



6.免祕鑰


圖解:



hadoop01和hadoop02,03,04免祕鑰.由於hadoop01是namenode須要管理01,02,03,04服務器,因此應該完成面祕鑰操做

若機器中沒有ssh命令 yum install openssh-clients.x86_64 -y 先產生.ssh文件夾 隱藏文件 而且在~(家)目錄下



發送公鑰給01,02,03,04

ssh-copy-id 服務器名稱 下面圖片是一個例子



7.分發hadoop安裝包 由於已經配置完成直接分發便可 分發給02,03,04分發命令是scp -r是遞歸 表明分發的是文件夾而且文件夾下面還有文件 scp 發送文件

scp -r 當前主機軟件安裝的路徑 主機名/IP:發送過來軟件要存在在當前機器下的路徑


scp -r /opt/software/hadoop-2.7.1/ hadoop02:/opt/software/


8.修改02,03,04機器上vi /etc/profile文件並配置HADOOP_HOME


配置成功後重新加載 source /etc/profile


9.啓動集羣可是 當前集羣是第一次配置


須要格式化 namenode 在hadoop01


hdfs namenode -format


ps:這個命令只能第一次開啓集羣的時候格式化,之後進入公司,集羣是搭建好的,千萬不要


10.開啓集羣


start-dfs.sh 開啓集羣


stop-dfs.sh 中止集羣


模塊化開啓


ps:


所有啓動 start-all.sh


所有中止 stop-all.sh


單個角色啓動

hadoop-daemon.sh start namenode或datanode或secondarynamenode hadoop-daemon.sh stop namenode或datanode或secondarynamenode直接殺死角色 kill -9 進程