Hadoop學習--僞分佈式部署--day01

1.僞分佈式安裝準備工做

   上傳hadoop-2.7.3.tar.gz  /soft

   虛擬機Java安裝完畢

        卸載原有的openjdk的版本

        # java -version若是看到有openjdk的字樣就是說明是系統帶的openjdk版本

        # rpm -qa|grep jdk

        用相似以下的方法刪除上面的rpm包

           #rpm -e --nodeps   java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

        檢查是否還有jdk1.5的版本，有就刪除

        #rpm -e --nodeps java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64

        #解壓新下載的jdk的安裝包

        配置環境變量

2.解壓hadoop

   $tar -xzvf hadoop-2.7.3.tar.gz

3.配置環境變量

   編輯/etc/profile，添加以下內容

   export JAVA_HOME=/soft/jdk1.8.0_111

   export HADOOP_HOME=/soft/hadoop-2.7.3

   export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

   而且把以上的內容寫到/home/hadoop/.bashrc中

4.配置SSH免密碼登錄

   $ssh-keygen -t rsa （四個回車）

   執行完這個命令後，會生成兩個文件id_rsa（私鑰）、id_rsa.pub（公鑰）

   將公鑰拷貝到要免登錄的機器上

   $cd /home/hadoop/.ssh

   $cat id_rsa.pub >> ~/.ssh/authorized_keys

   $chmod 600 authorized_keys  

   

   mkdir ./ssh

   chmod 700 ~/.ssh cd ~/.ssh

   ssh-keygen -t rsa 

   cd ~/.ssh

   cat /root/.ssh/id_rsa.pub > authorized_keys

   chmod 600 ~/.ssh/authorized_keys

   scp authorized_keys userB:/root/.ssh/

   注：A 爲管理主機，B爲被管理主機。

5.修改core-site.xml

   添加以下信息

<configuration>

<!-- 指定HADOOP所使用的文件系統schema（URI），HDFS的老大（NameNode）的地址 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost/</value>

</property>

</configuration>

6.修改hdfs-site.xml

<!-- 指定HDFS副本的數量 -->

<property>

<name>dfs.replication</name>

<value>1</value>

</property>  

7.修改mapred-site.xml

<!-- 指定mr運行在yarn上 -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

8.修改yarn-site.xml

<!-- 指定YARN的老大（ResourceManager）的地址 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>localhost</value>

</property>

<!-- reducer獲取數據的方式 -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

9.格式化namenode（是對namenode進行初始化

  $hdfs namenode -format (hadoop namenode -format)

10.啓動hadoop

  先啓動HDFS

  $start-dfs.sh 

  $start-yarn.sh

  關閉的順序最好相反

11.目錄操做

  $hadoop fs -mkdir -p /user/hadoop

  $hadoop fs -ls /

  $hadoop fs -ls -R /

  $hadoop fs -lsr /

  上傳

  $hadoop fs -put <linux上文件>  <hdfs上的路徑>

  $hadoop fs -put local.txt /user/hadoop/xx.txt   //將本地文件put到hdfs文件系統

  查看文件內容

  $hadoop fs -cat <hdfs上的路徑>

  下載文件

  $hadoop fs -get <hdfs上的路徑> <linux上的文件>

12.查看幫助

  $hadoop fs  //直接回車

  $hadoop fs -help put //查看put的具體信息

13.查看namenode和datanode在本地

  $cd /tmp/hadoop-hadoop/dfs/name/...   //第一個hadoop是hadoop用戶登錄啓動建立的

  $cd /tmp/hadoop-hadoop/dfs/data/...

14.查看log文件

  $ $HADOOP_HOME/logs

15.經過webui查看日誌或者集羣狀況

  http://localhost:500070/    //namenode web server port

  http://localhost:8088/      //resourceManager,只有在本機訪問才能夠。hadoop集羣信息

  http://localhost:19888/     //historyServer 

16.經過netstat查看網絡端口占用狀況

  $netstat  -lnpt  //l:listener  u:udp  p:program  name