快速搭建 Hadoop 環境

時間  2021-01-19
標籤 html java node linux web apache vim 服務器 oracle ssh 欄目 Hadoop 简体版
原文   原文鏈接

對於Hadoop來講，最主要的是兩個方面，一個是分佈式文件系統HDFS，另外一個是MapReduce計算模型，下面講解下我在搭建Hadoop 環境過程。

Hadoop 測試環境html

  
  
           
  
  
    
   
   
            
   
   
  1. 共4臺測試機，1臺namenode 3臺datanode 
    2. 
   
   
            
   
   
  2.  
    3. 
   
   
            
   
   
  3. OS版本：RHEL 5.5 X86_64 
    4. 
   
   
            
   
   
  4. Hadoop：0.20.203.0 
    5. 
   
   
            
   
   
  5. Jdk：jdk1.7.0 
    6. 
   
   
            
   
   
  6.  
    7. 
   
   
            
   
   
  7. 角色        ip地址 
    8. 
   
   
            
   
   
  8. namenode  192.168.57.75 
    9. 
   
   
            
   
   
  9. datanode1 192.168.57.76 
    10. 
   
   
            
   
   
  10. datanode2 192.168.57.78 
    11. 
   
   
            
   
   
  11. datanode3 192.168.57.79 
    12.


一 部署 Hadoop 前的準備工做java

  
  
           
  
  
    
   
   
            
   
   
  1. 1 須要知道hadoop依賴Java和SSH 
    2. 
   
   
            
   
   
  2. Java 1.5.x (以上)，必須安裝。 
    3. 
   
   
            
   
   
  3. ssh 必須安裝而且保證 sshd 一直運行，以便用Hadoop 腳本管理遠端Hadoop守護進程。 
    4. 
   
   
            
   
   
  4.  
    5. 
   
   
            
   
   
  5. 2 創建 Hadoop 公共賬號 
    6. 
   
   
            
   
   
  6. 全部的節點應該具備相同的用戶名，可使用以下命令添加： 
    7. 
   
   
            
   
   
  7. useradd hadoop 
    8. 
   
   
            
   
   
  8. passwd hadoop 
    9. 
   
   
            
   
   
  9.  
    10. 
   
   
            
   
   
  10. 3 配置 host 主機名 
    11. 
   
   
            
   
   
  11. tail -n 3 /etc/hosts 
    12. 
   
   
            
   
   
  12. 192.168.57.75  namenode 
    13. 
   
   
            
   
   
  13. 192.168.57.76  datanode1 
    14. 
   
   
            
   
   
  14. 192.168.57.78  datanode2 
    15. 
   
   
            
   
   
  15. 192.168.57.79  datanode3 
    16. 
   
   
            
   
   
  16.  
    17. 
   
   
            
   
   
  17. 4 以上幾點要求全部節點(namenode|datanode)配置所有相同 
    18.


二 ssh 配置
ssh 詳細瞭解node

  
  
           
  
  
    
   
   
            
   
   
  1. 1 生成私匙 id_rsa 與 公匙 id_rsa.pub 配置文件 
    2. 
   
   
            
   
   
  2. [hadoop@hadoop1 ~]$ ssh-keygen -t rsa 
    3. 
   
   
            
   
   
  3. Generating public/private rsa key pair. 
    4. 
   
   
            
   
   
  4. Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): 
    5. 
   
   
            
   
   
  5. Enter passphrase (empty for no passphrase): 
    6. 
   
   
            
   
   
  6. Enter same passphrase again: 
    7. 
   
   
            
   
   
  7. Your identification has been saved in /home/hadoop/.ssh/id_rsa. 
    8. 
   
   
            
   
   
  8. Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub. 
    9. 
   
   
            
   
   
  9. The key fingerprint is: 
    10. 
   
   
            
   
   
  10. d6:63:76:43:e2:5b:8e:85:ab:67:a2:7c:a6:8f:23:f9 hadoop@hadoop1.test.com 
    11. 
   
   
            
   
   
  11.  
    12. 
   
   
            
   
   
  12. 2 私匙 id_rsa 與 公匙 id_rsa.pub 配置文件 
    13. 
   
   
            
   
   
  13. [hadoop@hadoop1 ~]$ ls .ssh/ 
    14. 
   
   
            
   
   
  14. authorized_keys  id_rsa  id_rsa.pub  known_hosts 
    15. 
   
   
            
   
   
  15.  
    16. 
   
   
            
   
   
  16. 3 把公匙文件上傳到datanode服務器 
    17. 
   
   
            
   
   
  17. [hadoop@hadoop1 ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@datanode1 
    18. 
   
   
            
   
   
  18. 28 
    19. 
   
   
            
   
   
  19. hadoop@datanode1's password: 
    20. 
   
   
            
   
   
  20. Now try logging into the machine, with "ssh 'hadoop@datanode1'", and check in: 
    21. 
   
   
            
   
   
  21.  
    22. 
   
   
            
   
   
  22.   .ssh/authorized_keys 
    23. 
   
   
            
   
   
  23.  
    24. 
   
   
            
   
   
  24. to make sure we haven't added extra keys that you weren't expecting. 
    25. 
   
   
            
   
   
  25.  
    26. 
   
   
            
   
   
  26. [hadoop@hadoop1 ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@datanode2 
    27. 
   
   
            
   
   
  27. 28 
    28. 
   
   
            
   
   
  28. hadoop@datanode2's password: 
    29. 
   
   
            
   
   
  29. Now try logging into the machine, with "ssh 'hadoop@datanode2'", and check in: 
    30. 
   
   
            
   
   
  30.  
    31. 
   
   
            
   
   
  31.   .ssh/authorized_keys 
    32. 
   
   
            
   
   
  32.  
    33. 
   
   
            
   
   
  33. to make sure we haven't added extra keys that you weren't expecting. 
    34. 
   
   
            
   
   
  34.  
    35. 
   
   
            
   
   
  35. [hadoop@hadoop1 ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@datanode3 
    36. 
   
   
            
   
   
  36. 28 
    37. 
   
   
            
   
   
  37. hadoop@datanode3's password: 
    38. 
   
   
            
   
   
  38. Now try logging into the machine, with "ssh 'hadoop@datanode3'", and check in: 
    39. 
   
   
            
   
   
  39.  
    40. 
   
   
            
   
   
  40.   .ssh/authorized_keys 
    41. 
   
   
            
   
   
  41.  
    42. 
   
   
            
   
   
  42. to make sure we haven't added extra keys that you weren't expecting. 
    43. 
   
   
            
   
   
  43.  
    44. 
   
   
            
   
   
  44. [hadoop@hadoop1 ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@localhost 
    45. 
   
   
            
   
   
  45. 28 
    46. 
   
   
            
   
   
  46. hadoop@localhost's password: 
    47. 
   
   
            
   
   
  47. Now try logging into the machine, with "ssh 'hadoop@localhost'", and check in: 
    48. 
   
   
            
   
   
  48.  
    49. 
   
   
            
   
   
  49.   .ssh/authorized_keys 
    50. 
   
   
            
   
   
  50.  
    51. 
   
   
            
   
   
  51. to make sure we haven't added extra keys that you weren't expecting. 
    52. 
   
   
            
   
   
  52.  
    53. 
   
   
            
   
   
  53.  
    54. 
   
   
            
   
   
  54. 4 驗證 
    55. 
   
   
            
   
   
  55. [hadoop@hadoop1 ~]$ ssh datanode1 
    56. 
   
   
            
   
   
  56. Last login: Thu Feb  2 09:01:16 2012 from 192.168.57.71 
    57. 
   
   
            
   
   
  57. [hadoop@hadoop2 ~]$ exit 
    58. 
   
   
            
   
   
  58. logout 
    59. 
   
   
            
   
   
  59.  
    60. 
   
   
            
   
   
  60. [hadoop@hadoop1 ~]$ ssh datanode2 
    61. 
   
   
            
   
   
  61. Last login: Thu Feb  2 09:01:18 2012 from 192.168.57.71 
    62. 
   
   
            
   
   
  62. [hadoop@hadoop3 ~]$ exit 
    63. 
   
   
            
   
   
  63. logout 
    64. 
   
   
            
   
   
  64.  
    65. 
   
   
            
   
   
  65. [hadoop@hadoop1 ~]$ ssh datanode3 
    66. 
   
   
            
   
   
  66. Last login: Thu Feb  2 09:01:20 2012 from 192.168.57.71 
    67. 
   
   
            
   
   
  67. [hadoop@hadoop4 ~]$ exit 
    68. 
   
   
            
   
   
  68. logout 
    69. 
   
   
            
   
   
  69.  
    70. 
   
   
            
   
   
  70. [hadoop@hadoop1 ~]$ ssh localhost 
    71. 
   
   
            
   
   
  71. Last login: Thu Feb  2 09:01:24 2012 from 192.168.57.71 
    72. 
   
   
            
   
   
  72. [hadoop@hadoop1 ~]$ exit 
    73. 
   
   
            
   
   
  73. logout 
    74.

 

三 java環境配置linux

  
  
           
  
  
    
   
   
            
   
   
  1. 1 下載合適的jdk 
    2. 
   
   
            
   
   
  2. //此文件爲64Linux 系統使用的 RPM包 
    3. 
   
   
            
   
   
  3. wget http://download.oracle.com/otn-pub/java/jdk/7/jdk-7-linux-x64.rpm 
    4. 
   
   
            
   
   
  4.  
    5. 
   
   
            
   
   
  5. 2 安裝jdk 
    6. 
   
   
            
   
   
  6. rpm -ivh jdk-7-linux-x64.rpm 
    7. 
   
   
            
   
   
  7.  
    8. 
   
   
            
   
   
  8. 3 驗證java 
    9. 
   
   
            
   
   
  9. [root@hadoop1 ~]# java -version 
    10. 
   
   
            
   
   
  10. java version "1.7.0" 
    11. 
   
   
            
   
   
  11. Java(TM) SE Runtime Environment (build 1.7.0-b147) 
    12. 
   
   
            
   
   
  12. Java HotSpot(TM) 64-Bit Server VM (build 21.0-b17, mixed mode) 
    13. 
   
   
            
   
   
  13. [root@hadoop1 ~]# ls /usr/java/ 
    14. 
   
   
            
   
   
  14. default  jdk1.7.0  latest 
    15. 
   
   
            
   
   
  15.  
    16. 
   
   
            
   
   
  16. 4 配置java環境變量 
    17. 
   
   
            
   
   
  17. #vim /etc/profile //在profile文件中加入以下信息： 
    18. 
   
   
            
   
   
  18.  
    19. 
   
   
            
   
   
  19. #add for hadoop 
    20. 
   
   
            
   
   
  20. export JAVA_HOME=/usr/java/jdk1.7.0 
    21. 
   
   
            
   
   
  21. export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/ 
    22. 
   
   
            
   
   
  22. export PATH=$PATH:$JAVA_HOME/bin 
    23. 
   
   
            
   
   
  23.  
    24. 
   
   
            
   
   
  24. //使環境變量生效 
    25. 
   
   
            
   
   
  25. source /etc/profile 
    26. 
   
   
            
   
   
  26.  
    27. 
   
   
            
   
   
  27. 5 拷貝 /etc/profile 到 datanode 
    28. 
   
   
            
   
   
  28. [root@hadoop1 src]# scp /etc/profile root@datanode1:/etc/ 
    29. 
   
   
            
   
   
  29. The authenticity of host 'datanode1 (192.168.57.86)' can't be established. 
    30. 
   
   
            
   
   
  30. RSA key fingerprint is b5:00:d1:df:73:4c:94:f1:ea:1f:b5:cd:ed:3a:cc:e1. 
    31. 
   
   
            
   
   
  31. Are you sure you want to continue connecting (yes/no)? yes 
    32. 
   
   
            
   
   
  32. Warning: Permanently added 'datanode1,192.168.57.86' (RSA) to the list of known hosts. 
    33. 
   
   
            
   
   
  33. root@datanode1's password: 
    34. 
   
   
            
   
   
  34. profile                                       100% 1624     1.6KB/s   00:00    
    35. 
   
   
            
   
   
  35. [root@hadoop1 src]# scp /etc/profile root@datanode2:/etc/ 
    36. 
   
   
            
   
   
  36. The authenticity of host 'datanode2 (192.168.57.87)' can't be established. 
    37. 
   
   
            
   
   
  37. RSA key fingerprint is 57:cf:96:15:78:a3:94:93:30:16:8e:66:47:cd:f9:cd. 
    38. 
   
   
            
   
   
  38. Are you sure you want to continue connecting (yes/no)? yes 
    39. 
   
   
            
   
   
  39. Warning: Permanently added 'datanode2,192.168.57.87' (RSA) to the list of known hosts. 
    40. 
   
   
            
   
   
  40. root@datanode2's password: 
    41. 
   
   
            
   
   
  41. profile                                       100% 1624     1.6KB/s   00:00    
    42. 
   
   
            
   
   
  42. [root@hadoop1 src]# scp /etc/profile root@datanode3:/etc/ 
    43. 
   
   
            
   
   
  43. The authenticity of host 'datanode3 (192.168.57.88)' can't be established. 
    44. 
   
   
            
   
   
  44. RSA key fingerprint is 31:73:e8:3c:20:0c:1e:b2:59:5c:d1:01:4b:26:41:70. 
    45. 
   
   
            
   
   
  45. Are you sure you want to continue connecting (yes/no)? yes 
    46. 
   
   
            
   
   
  46. Warning: Permanently added 'datanode3,192.168.57.88' (RSA) to the list of known hosts. 
    47. 
   
   
            
   
   
  47. root@datanode3's password: 
    48. 
   
   
            
   
   
  48. profile                                       100% 1624     1.6KB/s   00:00
    49. 
   
   
            
   
   
  49.   
    50. 
   
   
            
   
   
  50. 6 拷貝 jdk 安裝包，並在每一個datanode 節點安裝 jdk 包
    51. 
   
   
            
   
   
  51. [root@hadoop1 ~]# scp -r /home/hadoop/src/ hadoop@datanode1:/home/hadoop/ 
    52. 
   
   
            
   
   
  52. hadoop@datanode1's password: 
    53. 
   
   
            
   
   
  53. hadoop-0.20.203.0rc1.tar.gz                   100%   58MB  57.8MB/s   00:01    
    54. 
   
   
            
   
   
  54. jdk-7-linux-x64.rpm                           100%   78MB  77.9MB/s   00:01    
    55. 
   
   
            
   
   
  55. [root@hadoop1 ~]# scp -r /home/hadoop/src/ hadoop@datanode2:/home/hadoop/ 
    56. 
   
   
            
   
   
  56. hadoop@datanode2's password: 
    57. 
   
   
            
   
   
  57. hadoop-0.20.203.0rc1.tar.gz                   100%   58MB  57.8MB/s   00:01    
    58. 
   
   
            
   
   
  58. jdk-7-linux-x64.rpm                           100%   78MB  77.9MB/s   00:01    
    59. 
   
   
            
   
   
  59. [root@hadoop1 ~]# scp -r /home/hadoop/src/ hadoop@datanode3:/home/hadoop/ 
    60. 
   
   
            
   
   
  60. hadoop@datanode3's password: 
    61. 
   
   
            
   
   
  61. hadoop-0.20.203.0rc1.tar.gz                   100%   58MB  57.8MB/s   00:01    
    62. 
   
   
            
   
   
  62. jdk-7-linux-x64.rpm                           100%   78MB  77.9MB/s   00:01    
    63.

 

四 hadoop 配置
//注意使用hadoop 用戶 操做web

  
  
           
  
  
    
   
   
            
   
   
  1. 1 配置目錄 
    2. 
   
   
            
   
   
  2. [hadoop@hadoop1 ~]$ pwd 
    3. 
   
   
            
   
   
  3. /home/hadoop 
    4. 
   
   
            
   
   
  4. [hadoop@hadoop1 ~]$ ll 
    5. 
   
   
            
   
   
  5. total 59220 
    6. 
   
   
            
   
   
  6. lrwxrwxrwx  1 hadoop hadoop       17 Feb  1 16:59 hadoop -> hadoop-0.20.203.0 
    7. 
   
   
            
   
   
  7. drwxr-xr-x 12 hadoop hadoop     4096 Feb  1 17:31 hadoop-0.20.203.0 
    8. 
   
   
            
   
   
  8. -rw-r--r--  1 hadoop hadoop 60569605 Feb  1 14:24 hadoop-0.20.203.0rc1.tar.gz 
    9. 
   
   
            
   
   
  9.  
    10. 
   
   
            
   
   
  10.  
    11. 
   
   
            
   
   
  11. 2 配置hadoop-env.sh，指定java位置 
    12. 
   
   
            
   
   
  12. vim hadoop/conf/hadoop-env.sh 
    13. 
   
   
            
   
   
  13. export JAVA_HOME=/usr/java/jdk1.7.0 
    14. 
   
   
            
   
   
  14.  
    15. 
   
   
            
   
   
  15. 3 配置core-site.xml //定位文件系統的 namenode 
    16. 
   
   
            
   
   
  16.  
    17. 
   
   
            
   
   
  17. [hadoop@hadoop1 ~]$ cat hadoop/conf/core-site.xml 
    18. 
   
   
            
   
   
  18. <?xml version="1.0"?> 
    19. 
   
   
            
   
   
  19. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
    20. 
   
   
            
   
   
  20.  
    21. 
   
   
            
   
   
  21. <!-- Put site-specific property overrides in this file. --> 
    22. 
   
   
            
   
   
  22.  
    23. 
   
   
            
   
   
  23. <configuration> 
    24. 
   
   
            
   
   
  24.  
    25. 
   
   
            
   
   
  25. <property> 
    26. 
   
   
            
   
   
  26. <name>fs.default.name</name> 
    27. 
   
   
            
   
   
  27. <value>hdfs://namenode:9000</value> 
    28. 
   
   
            
   
   
  28. </property> 
    29. 
   
   
            
   
   
  29.  
    30. 
   
   
            
   
   
  30. </configuration> 
    31. 
   
   
            
   
   
  31.  
    32. 
   
   
            
   
   
  32. 4 配置mapred-site.xml //定位jobtracker 所在的主節點 
    33. 
   
   
            
   
   
  33.  
    34. 
   
   
            
   
   
  34. [hadoop@hadoop1 ~]$ cat hadoop/conf/mapred-site.xml 
    35. 
   
   
            
   
   
  35. <?xml version="1.0"?> 
    36. 
   
   
            
   
   
  36. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
    37. 
   
   
            
   
   
  37.  
    38. 
   
   
            
   
   
  38. <!-- Put site-specific property overrides in this file. --> 
    39. 
   
   
            
   
   
  39.  
    40. 
   
   
            
   
   
  40. <configuration> 
    41. 
   
   
            
   
   
  41.  
    42. 
   
   
            
   
   
  42. <property> 
    43. 
   
   
            
   
   
  43. <name>mapred.job.tracker</name> 
    44. 
   
   
            
   
   
  44. <value>namenode:9001</value> 
    45. 
   
   
            
   
   
  45. </property> 
    46. 
   
   
            
   
   
  46.  
    47. 
   
   
            
   
   
  47. </configuration> 
    48. 
   
   
            
   
   
  48.  
    49. 
   
   
            
   
   
  49. 5 配置hdfs-site.xml //配置HDFS副本數量 
    50. 
   
   
            
   
   
  50.   
    51. 
   
   
            
   
   
  51. [hadoop@hadoop1 ~]$ cat hadoop/conf/hdfs-site.xml 
    52. 
   
   
            
   
   
  52. <?xml version="1.0"?> 
    53. 
   
   
            
   
   
  53. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
    54. 
   
   
            
   
   
  54.  
    55. 
   
   
            
   
   
  55. <!-- Put site-specific property overrides in this file. --> 
    56. 
   
   
            
   
   
  56.  
    57. 
   
   
            
   
   
  57. <configuration> 
    58. 
   
   
            
   
   
  58.  
    59. 
   
   
            
   
   
  59. <property> 
    60. 
   
   
            
   
   
  60. <name>dfs.replication</name> 
    61. 
   
   
            
   
   
  61. <value>3</value> 
    62. 
   
   
            
   
   
  62. </property> 
    63. 
   
   
            
   
   
  63.  
    64. 
   
   
            
   
   
  64. </configuration> 
    65. 
   
   
            
   
   
  65.  
    66. 
   
   
            
   
   
  66. 6 配置 master 與 slave 配置文檔 
    67. 
   
   
            
   
   
  67. [hadoop@hadoop1 ~]$ cat hadoop/conf/masters 
    68. 
   
   
            
   
   
  68. namenode 
    69. 
   
   
            
   
   
  69. [hadoop@hadoop1 ~]$ cat hadoop/conf/slaves 
    70. 
   
   
            
   
   
  70. datanode1 
    71. 
   
   
            
   
   
  71. datanode2 
    72. 
   
   
            
   
   
  72.  
    73. 
   
   
            
   
   
  73. 7 拷貝hadoop 目錄到全部節點(datanode) 
    74. 
   
   
            
   
   
  74. [hadoop@hadoop1 ~]$ scp -r hadoop hadoop@datanode1:/home/hadoop/ 
    75. 
   
   
            
   
   
  75. [hadoop@hadoop1 ~]$ scp -r hadoop hadoop@datanode2:/home/hadoop/ 
    76. 
   
   
            
   
   
  76. [hadoop@hadoop1 ~]$ scp -r hadoop hadoop@datanode3:/home/hadoop 
    77. 
   
   
            
   
   
  77.  
    78. 
   
   
            
   
   
  78. 8 格式化 HDFS 
    79. 
   
   
            
   
   
  79. [hadoop@hadoop1 hadoop]$ bin/hadoop namenode -format 
    80. 
   
   
            
   
   
  80. 12/02/02 11:31:15 INFO namenode.NameNode: STARTUP_MSG: 
    81. 
   
   
            
   
   
  81. /************************************************************ 
    82. 
   
   
            
   
   
  82. STARTUP_MSG: Starting NameNode 
    83. 
   
   
            
   
   
  83. STARTUP_MSG:   host = hadoop1.test.com/127.0.0.1 
    84. 
   
   
            
   
   
  84. STARTUP_MSG:   args = [-format] 
    85. 
   
   
            
   
   
  85. STARTUP_MSG:   version = 0.20.203.0 
    86. 
   
   
            
   
   
  86. STARTUP_MSG:   build = http://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20-security-203 -r 1099333; compiled by 'oom' on Wed May  4 07:57:50 PDT 2011 
    87. 
   
   
            
   
   
  87. ************************************************************/ 
    88. 
   
   
            
   
   
  88. Re-format filesystem in /tmp/hadoop-hadoop/dfs/name ? (Y or N)  Y  //這裏輸入Y 
    89. 
   
   
            
   
   
  89. 12/02/02 11:31:17 INFO util.GSet: VM type       = 64-bit 
    90. 
   
   
            
   
   
  90. 12/02/02 11:31:17 INFO util.GSet: 2% max memory = 19.33375 MB 
    91. 
   
   
            
   
   
  91. 12/02/02 11:31:17 INFO util.GSet: capacity      = 2^21 = 2097152 entries 
    92. 
   
   
            
   
   
  92. 12/02/02 11:31:17 INFO util.GSet: recommended=2097152, actual=2097152 
    93. 
   
   
            
   
   
  93. 12/02/02 11:31:17 INFO namenode.FSNamesystem: fsOwner=hadoop 
    94. 
   
   
            
   
   
  94. 12/02/02 11:31:18 INFO namenode.FSNamesystem: supergroupsupergroup=supergroup 
    95. 
   
   
            
   
   
  95. 12/02/02 11:31:18 INFO namenode.FSNamesystem: isPermissionEnabled=true 
    96. 
   
   
            
   
   
  96. 12/02/02 11:31:18 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100 
    97. 
   
   
            
   
   
  97. 12/02/02 11:31:18 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s) 
    98. 
   
   
            
   
   
  98. 12/02/02 11:31:18 INFO namenode.NameNode: Caching file names occuring more than 10 times 
    99. 
   
   
            
   
   
  99. 12/02/02 11:31:18 INFO common.Storage: Image file of size 112 saved in 0 seconds. 
    100. 
   
   
            
   
   
  100. 12/02/02 11:31:18 INFO common.Storage: Storage directory /tmp/hadoop-hadoop/dfs/name has been successfully formatted. 
    101. 
   
   
            
   
   
  101. 12/02/02 11:31:18 INFO namenode.NameNode: SHUTDOWN_MSG: 
    102. 
   
   
            
   
   
  102. /************************************************************ 
    103. 
   
   
            
   
   
  103. SHUTDOWN_MSG: Shutting down NameNode at hadoop1.test.com/127.0.0.1 
    104. 
   
   
            
   
   
  104. ************************************************************/ 
    105. 
   
   
            
   
   
  105. [hadoop@hadoop1 hadoop]$ 
    106. 
   
   
            
   
   
  106.  
    107. 
   
   
            
   
   
  107. 9 啓動hadoop 守護進程 
    108. 
   
   
            
   
   
  108. [hadoop@hadoop1 hadoop]$ bin/start-all.sh 
    109. 
   
   
            
   
   
  109. starting namenode, logging to /home/hadoop/hadoop/bin/../logs/hadoop-hadoop-namenode-hadoop1.test.com.out 
    110. 
   
   
            
   
   
  110. datanode1: starting datanode, logging to /home/hadoop/hadoop/bin/../logs/hadoop-hadoop-datanode-hadoop2.test.com.out 
    111. 
   
   
            
   
   
  111. datanode2: starting datanode, logging to /home/hadoop/hadoop/bin/../logs/hadoop-hadoop-datanode-hadoop3.test.com.out 
    112. 
   
   
            
   
   
  112. datanode3: starting datanode, logging to /home/hadoop/hadoop/bin/../logs/hadoop-hadoop-datanode-hadoop4.test.com.out 
    113. 
   
   
            
   
   
  113. starting jobtracker, logging to /home/hadoop/hadoop/bin/../logs/hadoop-hadoop-jobtracker-hadoop1.test.com.out 
    114. 
   
   
            
   
   
  114. datanode1: starting tasktracker, logging to /home/hadoop/hadoop/bin/../logs/hadoop-hadoop-tasktracker-hadoop2.test.com.out 
    115. 
   
   
            
   
   
  115. datanode2: starting tasktracker, logging to /home/hadoop/hadoop/bin/../logs/hadoop-hadoop-tasktracker-hadoop3.test.com.out 
    116. 
   
   
            
   
   
  116. datanode3: starting tasktracker, logging to /home/hadoop/hadoop/bin/../logs/hadoop-hadoop-tasktracker-hadoop4.test.com.out 
    117. 
   
   
            
   
   
  117.  
    118. 
   
   
            
   
   
  118. 10 驗證 
    119. 
   
   
            
   
   
  119. //namenode 
    120. 
   
   
            
   
   
  120. [hadoop@hadoop1 logs]$ jps 
    121. 
   
   
            
   
   
  121. 2883 JobTracker 
    122. 
   
   
            
   
   
  122. 3002 Jps 
    123. 
   
   
            
   
   
  123. 2769 NameNode 
    124. 
   
   
            
   
   
  124.  
    125. 
   
   
            
   
   
  125. //datanode 
    126. 
   
   
            
   
   
  126. [hadoop@hadoop2 ~]$ jps 
    127. 
   
   
            
   
   
  127. 2743 TaskTracker 
    128. 
   
   
            
   
   
  128. 2670 DataNode 
    129. 
   
   
            
   
   
  129. 2857 Jps 
    130. 
   
   
            
   
   
  130.  
    131. 
   
   
            
   
   
  131. [hadoop@hadoop3 ~]$ jps 
    132. 
   
   
            
   
   
  132. 2742 TaskTracker 
    133. 
   
   
            
   
   
  133. 2856 Jps 
    134. 
   
   
            
   
   
  134. 2669 DataNode 
    135. 
   
   
            
   
   
  135.  
    136. 
   
   
            
   
   
  136. [hadoop@hadoop4 ~]$ jps 
    137. 
   
   
            
   
   
  137. 2742 TaskTracker 
    138. 
   
   
            
   
   
  138. 2852 Jps 
    139. 
   
   
            
   
   
  139. 2659 DataNode 
    140. 
   
   
            
   
   
  140.  
    141. 
   
   
            
   
   
  141. Hadoop 監控web頁面 
    142. 
   
   
            
   
   
  142. http://192.168.57.75:50070/dfshealth.jsp 
    143.



五 簡單驗證HDFSapache

  
  
           
  
  
    
   
   
            
   
   
  1. hadoop 的文件命令格式以下: 
    2. 
   
   
            
   
   
  2. hadoop fs -cmd <args> 
    3. 
   
   
            
   
   
  3. //創建目錄 
    4. 
   
   
            
   
   
  4. [hadoop@hadoop1 hadoop]$ bin/hadoop fs -mkdir /test-hadoop 
    5. 
   
   
            
   
   
  5. //査看目錄 
    6. 
   
   
            
   
   
  6. [hadoop@hadoop1 hadoop]$ bin/hadoop fs -ls / 
    7. 
   
   
            
   
   
  7. Found 2 items 
    8. 
   
   
            
   
   
  8. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 13:32 /test-hadoop 
    9. 
   
   
            
   
   
  9. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp 
    10. 
   
   
            
   
   
  10. //査看目錄包括子目錄 
    11. 
   
   
            
   
   
  11. [hadoop@hadoop1 hadoop]$ bin/hadoop fs -lsr / 
    12. 
   
   
            
   
   
  12. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 13:32 /test-hadoop 
    13. 
   
   
            
   
   
  13. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp 
    14. 
   
   
            
   
   
  14. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop 
    15. 
   
   
            
   
   
  15. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred 
    16. 
   
   
            
   
   
  16. drwx------   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred/system 
    17. 
   
   
            
   
   
  17. -rw-------   2 hadoop supergroup          4 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred/system/jobtracker.info 
    18. 
   
   
            
   
   
  18. //添加文件 
    19. 
   
   
            
   
   
  19. [hadoop@hadoop1 hadoop]$ bin/hadoop fs -put /home/hadoop/hadoop-0.20.203.0rc1.tar.gz /test-hadoop 
    20. 
   
   
            
   
   
  20. [hadoop@hadoop1 hadoop]$ bin/hadoop fs -lsr / 
    21. 
   
   
            
   
   
  21. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 13:34 /test-hadoop 
    22. 
   
   
            
   
   
  22. -rw-r--r--   2 hadoop supergroup   60569605 2012-02-02 13:34 /test-hadoop/hadoop-0.20.203.0rc1.tar.gz 
    23. 
   
   
            
   
   
  23. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp 
    24. 
   
   
            
   
   
  24. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop 
    25. 
   
   
            
   
   
  25. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred 
    26. 
   
   
            
   
   
  26. drwx------   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred/system 
    27. 
   
   
            
   
   
  27. -rw-------   2 hadoop supergroup          4 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred/system/jobtracker.info 
    28. 
   
   
            
   
   
  28. //獲取文件 
    29. 
   
   
            
   
   
  29. [hadoop@hadoop1 hadoop]$ bin/hadoop fs -get /test-hadoop/hadoop-0.20.203.0rc1.tar.gz /tmp/ 
    30. 
   
   
            
   
   
  30. [hadoop@hadoop1 hadoop]$ ls /tmp/*.tar.gz 
    31. 
   
   
            
   
   
  31. /tmp/1.tar.gz  /tmp/hadoop-0.20.203.0rc1.tar.gz 
    32. 
   
   
            
   
   
  32. //刪除文件 
    33. 
   
   
            
   
   
  33. [hadoop@hadoop1 hadoop]$ bin/hadoop fs -rm /test-hadoop/hadoop-0.20.203.0rc1.tar.gz 
    34. 
   
   
            
   
   
  34. Deleted hdfs://namenode:9000/test-hadoop/hadoop-0.20.203.0rc1.tar.gz 
    35. 
   
   
            
   
   
  35. [hadoop@hadoop1 hadoop]$ bin/hadoop fs -lsr / 
    36. 
   
   
            
   
   
  36. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 13:57 /test-hadoop 
    37. 
   
   
            
   
   
  37. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp 
    38. 
   
   
            
   
   
  38. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop 
    39. 
   
   
            
   
   
  39. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred 
    40. 
   
   
            
   
   
  40. drwx------   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred/system 
    41. 
   
   
            
   
   
  41. -rw-------   2 hadoop supergroup          4 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred/system/jobtracker.info 
    42. 
   
   
            
   
   
  42. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 13:36 /user 
    43. 
   
   
            
   
   
  43. -rw-r--r--   2 hadoop supergroup        321 2012-02-02 13:36 /user/hadoop 
    44. 
   
   
            
   
   
  44. //刪除目錄 
    45. 
   
   
            
   
   
  45. [hadoop@hadoop1 hadoop]$ bin/hadoop fs -rmr /test-hadoop 
    46. 
   
   
            
   
   
  46. Deleted hdfs://namenode:9000/test-hadoop 
    47. 
   
   
            
   
   
  47. [hadoop@hadoop1 hadoop]$ bin/hadoop fs -lsr / 
    48. 
   
   
            
   
   
  48. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp 
    49. 
   
   
            
   
   
  49. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop 
    50. 
   
   
            
   
   
  50. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred 
    51. 
   
   
            
   
   
  51. drwx------   - hadoop supergroup          0 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred/system 
    52. 
   
   
            
   
   
  52. -rw-------   2 hadoop supergroup          4 2012-02-02 11:32 /tmp/hadoop-hadoop/mapred/system/jobtracker.info 
    53. 
   
   
            
   
   
  53. drwxr-xr-x   - hadoop supergroup          0 2012-02-02 13:36 /user 
    54. 
   
   
            
   
   
  54. -rw-r--r--   2 hadoop supergroup        321 2012-02-02 13:36 /user/hadoop 
    55. 
   
   
            
   
   
  55.  
    56. 
   
   
            
   
   
  56. //hadoop fs 幫助（部分） 
    57. 
   
   
            
   
   
  57. [hadoop@hadoop1 hadoop]$ bin/hadoop fs -help 
    58. 
   
   
            
   
   
  58. hadoop fs is the command to execute fs commands. The full syntax is: 
    59. 
   
   
            
   
   
  59.  
    60. 
   
   
            
   
   
  60. hadoop fs [-fs <local | file system URI>] [-conf <configuration file>] 
    61. 
   
   
            
   
   
  61.     [-D <propertyproperty=value>] [-ls <path>] [-lsr <path>] [-du <path>] 
    62. 
   
   
            
   
   
  62.     [-dus <path>] [-mv <src> <dst>] [-cp <src> <dst>] [-rm [-skipTrash] <src>] 
    63. 
   
   
            
   
   
  63.     [-rmr [-skipTrash] <src>] [-put <localsrc> ... <dst>] [-copyFromLocal <localsrc> ... <dst>] 
    64. 
   
   
            
   
   
  64.     [-moveFromLocal <localsrc> ... <dst>] [-get [-ignoreCrc] [-crc] <src> <localdst> 
    65. 
   
   
            
   
   
  65.     [-getmerge <src> <localdst> [addnl]] [-cat <src>] 
    66. 
   
   
            
   
   
  66.     [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>] [-moveToLocal <src> <localdst>] 
    67. 
   
   
            
   
   
  67.     [-mkdir <path>] [-report] [-setrep [-R] [-w] <rep> <path/file>] 
    68. 
   
   
            
   
   
  68.     [-touchz <path>] [-test -[ezd] <path>] [-stat [format] <path>] 
    69. 
   
   
            
   
   
  69.     [-tail [-f] <path>] [-text <path>] 
    70. 
   
   
            
   
   
  70.     [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...] 
    71. 
   
   
            
   
   
  71.     [-chown [-R] [OWNER][:[GROUP]] PATH...] 
    72. 
   
   
            
   
   
  72.     [-chgrp [-R] GROUP PATH...] 
    73. 
   
   
            
   
   
  73.     [-count[-q] <path>] 
    74. 
   
   
            
   
   
  74.     [-help [cmd]] 
    75.


更多Hadoop 相關知識vim

結束
Hadoop 環境搭建步驟繁瑣，須要具有必定的Linux 系統知識，須要注意的是，經過以上步驟搭建的Hadoop 環境只能讓你大致瞭解的hadoop ，若是想將HDFS 用於線上服務，還需對hadoop 配置文檔作進一步配置 ，後續文檔將繼續以博文的形式發佈，敬請期待。服務器

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程