Ubuntu中搭建Hadoop集羣(簡記)

stp1:在Vmware虛擬機上建立Ubantu.2環境html

步驟:文件—>新建虛擬機—>典型(下一步)—>下一步——>位置(不建議放c盤,文件地址必定要全英文)—>下一步—>磁盤大小(20G搭建環境夠用)—>自定義硬件(內存最好設置2G,否則慢得受不了)—>完成!(漫長得等待。。。)java

step2:修改主機名node

臨時修改主機名:apache

步驟:打開終端(右鍵,CTRL+ALT+T)—>輸入 hostname (返回主機名,即@符號後得)—>輸入 su 得到root權限—>密碼—>hostname newname(根據須要本身定)(臨時修改主機名);vim

永久修改主機名:windows

方法1:步驟:打開終端(右鍵,CTRL+ALT+T)—>輸入 su —>密碼—>apt install vim(下載安裝文件編輯工具,很快)—>sudo vim /etc/hosts —> 點擊鍵盤 i (插入符)—>修改主機名—>點擊ESC退出編輯,輸入  :wq 保存—>重啓便可;瀏覽器

方法2:步驟:打開終端(右鍵,CTRL+ALT+T)—>輸入 su —>密碼—>apt install vim(下載安裝文件編輯工具,很快)—>sudo vim /etc/hostname —> 修改主機名—>重啓便可;ssh

詳細步驟及常見錯誤可見:https://www.cnblogs.com/zhibei/p/9930744.htmljvm

                                           https://www.cnblogs.com/zhibei/p/9930839.html工具

step3:查看ip地址:Ubuntu使用得是:ifconfig -a

步驟:打開終端(右鍵,CTRL+ALT+T)—>輸入 su —>密碼—>apt install net-tools—>輸入 ifconfig -a (注意返回2段結果,IP在第一段相似於192.163.。。)

step4:下載安裝ssh

這個主要是爲了遠程鏈接和免密登陸

 步驟:打開終端—>輸入 su —>密碼—>apt install openssh—>輸入sshd(不報錯即成功);

遠程鏈接:

在windows端下載Putty端口鏈接工具

步驟:打開putty—>Hostname(填寫IP),Port(默認22)—>Connection type:(SSH)—>Saved Sessions(任然填入IP)—>點擊 Save—>選擇保存得IP,點擊Load—>open(獲得鏈接控制檯)—>login as:(輸入用戶名)—>密碼驗證—>接下來就能夠進行本身想要得操做啦!

免密登陸:(未完。。。)

這一步很重要(只要在hadoop部署以前完成就能夠啦)

這裏得權限問題我還沒搞清楚,不太清楚何時要在用戶,何時要在root下:

步驟:輸入:ssh-keygen -t rsa -P (得到公私匙對,一直回車便可)

—>輸入:cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys(將密匙寫入ssh中)

—>輸入:/etc/init.d/ssh reload;

step5:安裝JDK

步驟:打開終端—>輸入 su —>密碼—>輸入javac,回車—>根據提示選擇想要得版本號直接安裝(遇到詢問寫y)—>輸入javac,返回相關信息表示安裝成功—>vim /etc/profile (配置環境變量 ,以下)保存,退出編輯—>輸入:source /etc/profile使配置生效(這樣能夠在任何目錄下找到java)。

配置java環境變量:export JAVA_HOME= /usr/lib/jvm/java-8-openjdk-amd64(這個地址要根據你的安裝路徑進行更改)

           export JRE_HOME= $JAVA_HOME/jre

                                export  CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

                                 export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

step6:安裝Hadoop

嘗試了直接使用鏈接安裝,結果都失敗,在這裏建議你們按以下步驟,少走彎路

下載hadoop安裝包:https://archive.apache.org/dist/hadoop/common/hadoop-3.1.0/(有各類版本能夠本身選)

下載完成後,將安裝包移動到 /home 路徑下

在終端輸入:tar -xvf hadoop-2.9.1.tar.gz  解壓

文件配置:

cd /etc/hadoop

vim hadoop-env.sh 配置 export JAVA_HOME= /usr/lib/jvm/java-8-openjdk-amd64 保存並退出。

vim core-site.xml ,請自行創建/tmp/name,/tmp/data子文件,固然你能夠自行指定存放目錄

<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>

<property>
<name>dfs.name.dir</name>
<value>/home/apache/hadoop-2.9.1/tmp/name</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/apache/hadoop-2.9.1/tmp/data</value>
</property>

接着,vim hafs_site.xml,請創建data文件夾

<property>
<name>dfs.data.dir</name>
<value>/home/apache/hadoop-2.9.1/data</value>
</property>

而後vim yarn-site.xml,

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

最後:cp mapred-site.xml.plate mapred-site.xml,

           vim mapred-site.xml,

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

 配置Hadoop得環境變量

vim /etc/profile #hadoop HADOOP_HOME=/home/apache/hadoop-2.9.1 PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin: export HADOOP_HOME PATH

配置生效

source /etc/profile

查看hadoop版本輸入hadoop version;

節點初始化:

hadoop namenode -format

啓動hadoop

cd /hadoop-2.9.1/sbin/ ./start-dfs.sh ./start-yarn.sh ./mr-jobhistory-daemon.sh start historyserver

查看服務啓動狀況輸入jps命令出現下面內容啓動成功

2499 NameNode 3460 NodeManager 2694 DataNode 2934 SecondaryNameNode 3705 Jps 3626 JobHistoryServer 3103 ResourceManager

能夠瀏覽器輸入http://localhost:50070 查看hadoop詳情。

相關文章
相關標籤/搜索