29.Hadoop之HDFS集羣搭建筆記

0.修改IP,主機名,hosts文件

        setup         修改網卡IP

        service  network  restart         重啓網絡服務使IP生效

vim /etc/sysconfig/network修改主機名

vim /etc/hosts/修改hosts文件

192.168.126.128 hadoop001

192.168.126.129 hadoop002

192.168.126.130 hadoop003

192.168.126.131 hadoop004

1.安裝jdk環境

alt + p        打開遠程鏈接SecureCRT遠程傳輸工具sftp   put    c:/........tar.gz        把win上軟件傳到linux

        mkdir -p /java/jdk        建多級文件夾

        tar -zxvf jdk----.tar.gz  -C  /java/jdk        解壓jdk到指定路徑

        vim /etc/profile        修改全局環境變量

                export JAVA_HOME=/java/jdk/jdk1.7.0_65

export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile從新加載配置文件

echo$JAVA_HOME打印變量JAVA_HOME

java -version查看環境變量配置是否成功

安裝protobuf

tar -zxvf protobuf-2.5.0.tar.gz 

cd protobuf-2.5.0

./configure --prefix=/opt

配置環境變量加入/opt/bin

protoc -–version

 

2.安裝Hadoop

tar -zxvf hadoop-2.4.1.tar.gz -C /java/解壓Hadoop

ls lib/native/查看解壓目錄下有哪些文件

cd etc/hadoop/進入配置文件目錄

vim hadoop-env.sh修改配置文件環境變量(export JAVA_HOME=/java/jdk/jdk1.7.0_65)

*-site.xml*

vim core-site.xml修改配置文件(去官網找參數含義)

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop001:9000<value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/java/hadoop-2.4.1/tmp<value>

</property>

</configuration>

 

vim hdfs-site.xml修改hdfs配置文件

<configuration>

<property>

<!-- 副本數量,默認3 -->

<name>dfs.replication</name>

<value>2</value>

</property>

</configuration>

 

cp mapred-site.xml.template mapred-site.xml複製一份配置文件樣本

vim mapred-site.xml修改mapreduce配置文件

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

 

vim yarn-site.xml配置yarn配置文件,也能夠配置主機名,前提是修改hosts文件映射

<configuration>

<!-- Site specific YARN configuration properties -->

<!-- 主節點 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop001</value>

</property>

<!-- 從節點 -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

 

vim slaves配置從節點(能夠是主機名)

192.168.126.128

192.168.126.129

192.168.126.130

 

scp /java/hadoop-2.4.1/ root@192.168.126.129:/java/hadoop-2.4.1/複製到其餘機器

 

cd /java/hadoop-2.4.1/bin

./hadoop namenode -format格式化HDFS文件系統(建文件和文件夾)

成功:INFO common.Storage: Storage directory /java/hadoop-2.4.1/tmp/dfs/name has been successfully formatted

 

3.啓動

jps看java進程,此時什麼都沒有

cd sbin/到sbin下找啓動命令

./start-dfs.sh啓動hdfs

[root@hadoop001 sbin]# jps

2488 NameNode

2746 SecondaryNameNode

2872 Jps

2601 DataNode

 

[root@hadoop002 ~]# jps

2422 DataNode

2485 Jps

 

4.啓動hdfs客戶端

cd /java/hadoop-2.4.1/bin進入bin

./hdfs dfs -ls /查看hsfs /下內容

./hdfs dfs -put /root/install.log hdfs://hadoop001:9000/向hdfs文件系統存入文件(每塊128M)

./hdfs dfs -ls /查看hsfs /下內容

ls /java/hadoop-2.4.1/tmp/dfs/查看文件保存位置(namenode,datanode)

ls /java/hadoop-2.4.1/tmp/dfs/(datanode)只有data文件夾

cd /java/hadoop-2.4.1/tmp/dfs/data/current/BP-343820156-192.168.126.128-1443868868316/current/finalized查看文件分了幾塊

./hdfs dfs -get  hdfs://hadoop001:9000/install.log從hdfs上把文件下載下來(get後面指定下載的目錄)

 

原理:

touch hadoop.tar.gz建一個空文件

cat block1 >> hadoop.tar.gz把block追加到hadoop.tar.gz

cat block2 >> hadoop.tar.gz 把block2追加到hadoop.tar.gz

 

./hdfs dfshdfs其餘命令

./hdfs dfs -chown tangwan:hadoop /install.log改變hdfs文件用戶全部者和組

./hdfs dfs -ls /install.log查看更改後狀態

./hdfs dfs -chmod 600 /install.log更改權限

./hdfs dfs -ls /查看權限

改權限後用戶依舊能夠下載可是若是建一個文件夾給權限,就只能是指定權限用戶上傳

./hdfs dfs -df /查看hdfs還剩多少空間kb

./hdfs dfs -df -h /查看hdfs還剩多少空間M,G

./hdfs dfs -mkdir -p /aaa/bbb在hdfs建立文件夾

         ./hadoop fs -du -s /     #查看hdfs佔用空間

 

中止hdfs:

/java/hadoop-2.4.1/sbin進入sbin

./stop-dfs.sh中止hdfs

hadoop001:50070瀏覽器界面(能夠下載不能夠上傳)

 

 

 

 

 

 

 

 

 

 

來自爲知筆記(Wiz)