mac或linux下安裝hadoop-2.8流程

mac上安裝hadoop

 

1,mac下的java

ll /usr/bin |grep'java'

默認:

/System/Library/Frameworks/JavaVM.framework/Versions/Current/Commands/java

具體的安裝路徑:

/Library/Java/JavaVirtualMachines/下面，

 

JAVA_HOME是/Library/Java/JavaVirtualMachines/jdk1.7.0_75/Contents/Home。

 

2,mac下的ssh

首先測試ssh localhost，

若不成功,看是否啓動容許remotelogin,再嘗試若是失敗則繼續下面的

 

ssh-keygen -t dsa-P '' -f ~/.ssh/id_dsa

ssh-keygen表示生成祕鑰；

-t表示祕鑰類型；-P用於提供密語；-f指定生成的祕鑰文件。

這個命令在」~/.ssh/「文件夾下建立兩個文件id_dsa和id_dsa.pub，是ssh的一對兒私鑰和公鑰。

接下來，將公鑰追加到受權的key中去，輸入：

 

cat~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

 

再次嘗試

ssh localhost

若沒法打開,解決方法以下：

進入Mac的系統偏好設置 –> 共享–> 勾選remote login，並設置allow access for all users。

 

3,下載鏡像,mirror,選擇某一個tar.gz

http://mirror.bit.edu.cn/apache/hadoop/common/

 

4,設置環境變量

vi ~/.bash_profile 或者/etc/profile中

 

exportJAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_75/Contents/Home 

exportJRE_HOME=$JAVA_HOME/jre 

exportHADOOP_HOME=/Users/xiaolong.zhao/ittools/hadoop

#是防止出現：Warning:$HADOOP_HOME is deprecated的警告錯誤。

exportHADOOP_HOME_WARN_SUPPRESS=1 

 

exportPATH=$JAVA_HOME/bin:$JRE_HOME/bin: $ HADOOP_HOME /sbin:$HADOOP_HOME/bin:$PATH 

 

注意:linux與mac的安裝，惟一區別就是mac下會有默認的jdk路徑的,以及ssh配置的 

5,配置hadoop-env.sh

 

在/Users/xiaolong.zhao/ittools/hadoop/etc/hadoop目錄下，找到hadoop-env.sh，打開編輯進行以下設置：

 

export  JAVA_HOME=${JAVA_HOME}（去掉註釋）

export  HADOOP_HEAPSIZE=2000（去掉註釋）

export  HADOOP_OPTS=」-Djava.security.krb5.realm=OX.AC.UK-Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk」（去掉註釋）

 

 

6, 4個核心文件配置

 

6.1.配置core-site.xml——(defaultFS)指定了NameNode的主機名與端口 

<?xmlversion="1.0" encoding="UTF-8"?>  
<configuration>
     <!-- fs.defaultFS - 這是一個描述集羣中NameNode結點的URI(包括協議、主機名稱、端口號)，集羣裏面的每一臺機器都須要知道NameNode的地址。
     DataNode結點會先在NameNode上註冊，這樣它們的數據才能夠被使用。獨立的客戶端程序經過這個URI跟DataNode交互，以取得文件的塊列表。-->
    <property>  
       <name>fs.defaultFS</name> 
       <value>hdfs://localhost:8000</value>  
    </property>  
 
     <!-- hadoop.tmp.dir 是hadoop文件系統依賴的基礎配置，不少路徑都依賴它。
     若是hdfs-site.xml中不配置namenode和datanode的存放位置，默認就放在這個路徑中-->
    <property>  
       <name>hadoop.tmp.dir</name> 
       <value>/Users/time/Documents/hadoop-2.7.3/tmp</value>  
        <description>A base for othertemporary directories.</description> 
    </property> 
</configuration>

 

6.2. 配置hdfs-site.xml——指定了HDFS的默認參數副本數

 
<?xmlversion="1.0" encoding="UTF-8"?>  
<configuration>  
     <!-- dfs.replication -它決定着 系統裏面的文件塊的數據備份個數。對於一個實際的應用，它應該被設爲3。
     少於三個的備份，可能會影響到數據的可靠性-->
        <property>
          <name>dfs.replication</name>
           <value>1</value>
        </property>
 
        <!-- datanaode和namenode的物理存儲,若是不設置，它的值hadoop.tmp.dir-->
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/home/hdfs/name</value>
        </property>
 
        <!-- 能夠不設置,namenode的Web 監控 端口,默認是0.0.0.0:50070-->
        <property>
            <name>dfs.namenode.http-address</name>
             <value>localhost:57000</value>
        </property>
 
        <property>
          <name>dfs.datanode.data.dir</name>
          <value>file:/home/hdfs/data</value>
        </property>
 
</configuration>

 

注意這裏的file

若是配置爲: file:/path/a/c,則具體的路徑就是: /path/a/c

若是配置爲:file://path/a/c,則具體的路徑就是: /a/c

6.3 mapred-site.xml配置

  

  <property>  
        <name>mapreduce.framework.name</name>  
        <value>yarn</value>  
    </property>

 

6.4 Yarn-site.xml 配置

<?xmlversion="1.0"?> 
 <configuration> 
 
  <!-- resourcemanager --> 
  <!-- client visit address -->
  <property> 
  <name>yarn.resourcemanager.address</name>
  <value>localhost:18040</value> 
  </property> 
 
  <!-- ApplicationMaster visit address-->
  <property> 
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>localhost:18030</value> 
  </property> 
 
  <!-- NodeManager visit address -->
  <property> 
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value> localhost:18025</value> 
  </property> 
 
  <!-- web visit address -->
  <property> 
  <name>yarn.resourcemanager.webapp.address</name>
  <value>localhost:18088</value> 
  </property> 
 
  <!-- NodeManager support mapreduce service--> 
  <property> 
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value> 
  </property> 
 </configuration>

 

 

7, 格式化namenode

hdfs namenode-format

 

8, 啓動hadoop

 

8.1sbin/start-all.sh 

8.2 web測試

 

8.2.1 namenode-web

http://localhost:50070

 

8.2.2resourcemanager-web

http://localhost:18088

 

8.2.3 nodemanager-web

http://localhost:8042