hadoop入門?

相關的學習資料在這

https://pan.baidu.com/s/1ghgYMob

ymw5

 

算是學習的總結吧，寫的簡單點

這裏使用的虛擬機作實驗

首先須要四臺虛擬機，一臺master，三臺slave

安裝好後要求它們和主機兩兩之間都能ping通

 

配置名稱解析仍是叫什麼的，就好比說ping 另外一個主機名至關於ping它的ip

修改 /etc/hosts 文件，像下邊這樣

 

而後把上邊資料裏邊的hadoop壓縮包和jdk包都搞到四臺虛擬機中，能夠用xftp，簡單

而後把這兩個包都解壓縮

tar.gz 用命令： tar -zxvf  filename.tar.gz

rpm 用命令：rpm -ivh filename.rpm

-後邊的字母都有特殊的含義，用--help查看吧

直接安裝都在 /usr/local/目錄下能找到

而後在 /usr/local/hadoop/etc/hadoop/目錄下修改配置文件，hadoop主要的配置文件都在這

首先修改hadoop-env.sh文件中的java_home路徑，以下圖

而後修改core-site.xml文件，指定master即namenode所在的機器，以下圖

注意四臺機器都要進行修改！！！！

 

向另一臺機器複製文件

scp  /usr/local/test.txt  root@slave1:/usr/local/test.txt

 

完成以上配置後，就能夠單獨在每臺機器上啓動hadoop了

啓動以前，對存儲文件進行格式化？

hdfs namenode -format

單獨啓動hadoop：

hadoop-daemon.sh start namenode  存儲文件系統元數據(文件目錄結構、分塊狀況、每塊位置、權限等)存在內存中

hadoop-daemon.sh start datanode

 

下面講如何配置master到slave的免密ssh登陸：

使用start-dfs.sh命令能夠啓動全部其餘機器的hadoop

修改master上的slaves文件，添加datanode信息，以下圖

 可是這樣須要輸入不少密碼，還會默認啓動SecondaryNameNode

進入 /root/.ssh

使用命令 ssh-keygen -t rsa

默認直接回車

會用rsa算法生成私鑰id_rsa和公鑰id_rsa.pub

使用命令 ssh-copy-id slave1， 會要求輸入slave的密碼

還要給master拷貝一份

傳完後再使用start-dfs.sh，就不用密碼了

就是這樣