stp1:在Vmware虛擬機上建立Ubantu.2環境html
步驟:文件—>新建虛擬機—>典型(下一步)—>下一步——>位置(不建議放c盤,文件地址必定要全英文)—>下一步—>磁盤大小(20G搭建環境夠用)—>自定義硬件(內存最好設置2G,否則慢得受不了)—>完成!(漫長得等待。。。)java
step2:修改主機名node
臨時修改主機名:apache
步驟:打開終端(右鍵,CTRL+ALT+T)—>輸入 hostname (返回主機名,即@符號後得)—>輸入 su 得到root權限—>密碼—>hostname newname(根據須要本身定)(臨時修改主機名);vim
永久修改主機名:windows
方法1:步驟:打開終端(右鍵,CTRL+ALT+T)—>輸入 su —>密碼—>apt install vim(下載安裝文件編輯工具,很快)—>sudo vim /etc/hosts —> 點擊鍵盤 i (插入符)—>修改主機名—>點擊ESC退出編輯,輸入 :wq 保存—>重啓便可;瀏覽器
方法2:步驟:打開終端(右鍵,CTRL+ALT+T)—>輸入 su —>密碼—>apt install vim(下載安裝文件編輯工具,很快)—>sudo vim /etc/hostname —> 修改主機名—>重啓便可;ssh
詳細步驟及常見錯誤可見:https://www.cnblogs.com/zhibei/p/9930744.htmljvm
https://www.cnblogs.com/zhibei/p/9930839.html工具
step3:查看ip地址:Ubuntu使用得是:ifconfig -a
步驟:打開終端(右鍵,CTRL+ALT+T)—>輸入 su —>密碼—>apt install net-tools—>輸入 ifconfig -a (注意返回2段結果,IP在第一段相似於192.163.。。)
step4:下載安裝ssh
這個主要是爲了遠程鏈接和免密登陸
步驟:打開終端—>輸入 su —>密碼—>apt install openssh—>輸入sshd(不報錯即成功);
遠程鏈接:
在windows端下載Putty端口鏈接工具
步驟:打開putty—>Hostname(填寫IP),Port(默認22)—>Connection type:(SSH)—>Saved Sessions(任然填入IP)—>點擊 Save—>選擇保存得IP,點擊Load—>open(獲得鏈接控制檯)—>login as:(輸入用戶名)—>密碼驗證—>接下來就能夠進行本身想要得操做啦!
免密登陸:(未完。。。)
這一步很重要(只要在hadoop部署以前完成就能夠啦)
這裏得權限問題我還沒搞清楚,不太清楚何時要在用戶,何時要在root下:
步驟:輸入:ssh-keygen -t rsa -P (得到公私匙對,一直回車便可)
—>輸入:cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys(將密匙寫入ssh中)
—>輸入:/etc/init.d/ssh reload;
step5:安裝JDK
步驟:打開終端—>輸入 su —>密碼—>輸入javac,回車—>根據提示選擇想要得版本號直接安裝(遇到詢問寫y)—>輸入javac,返回相關信息表示安裝成功—>vim /etc/profile (配置環境變量 ,以下)保存,退出編輯—>輸入:source /etc/profile使配置生效(這樣能夠在任何目錄下找到java)。
配置java環境變量:export JAVA_HOME= /usr/lib/jvm/java-8-openjdk-amd64(這個地址要根據你的安裝路徑進行更改)
export JRE_HOME= $JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
step6:安裝Hadoop
嘗試了直接使用鏈接安裝,結果都失敗,在這裏建議你們按以下步驟,少走彎路
下載hadoop安裝包:https://archive.apache.org/dist/hadoop/common/hadoop-3.1.0/(有各類版本能夠本身選)
下載完成後,將安裝包移動到 /home 路徑下
在終端輸入:tar -xvf hadoop-2.9.1.tar.gz 解壓
文件配置:
cd /etc/hadoop
vim hadoop-env.sh 配置 export JAVA_HOME= /usr/lib/jvm/java-8-openjdk-amd64 保存並退出。
vim core-site.xml ,請自行創建/tmp/name,/tmp/data子文件,固然你能夠自行指定存放目錄
<property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>dfs.name.dir</name> <value>/home/apache/hadoop-2.9.1/tmp/name</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/apache/hadoop-2.9.1/tmp/data</value> </property>
接着,vim hafs_site.xml,請創建data文件夾
<property> <name>dfs.data.dir</name> <value>/home/apache/hadoop-2.9.1/data</value> </property>
而後vim yarn-site.xml,
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
最後:cp mapred-site.xml.plate mapred-site.xml,
vim mapred-site.xml,
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
配置Hadoop得環境變量
vim /etc/profile #hadoop HADOOP_HOME=/home/apache/hadoop-2.9.1 PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin: export HADOOP_HOME PATH
配置生效
source /etc/profile
查看hadoop版本輸入hadoop version;
節點初始化:
hadoop namenode -format
啓動hadoop
cd /hadoop-2.9.1/sbin/ ./start-dfs.sh ./start-yarn.sh ./mr-jobhistory-daemon.sh start historyserver
查看服務啓動狀況輸入jps命令出現下面內容啓動成功
2499 NameNode 3460 NodeManager 2694 DataNode 2934 SecondaryNameNode 3705 Jps 3626 JobHistoryServer 3103 ResourceManager
能夠瀏覽器輸入http://localhost:50070 查看hadoop詳情。