fedora20安裝hadoop-2.5.1

（博客園-番茄醬原創）

首先感謝做者lxdhdgss，他的博文直接幫助了我如何安裝hadoop，下面是他的博文修改版，用於安裝在fedora20上面的，jdk1.8版本。

到hadoop官網去copy一下連接地址（hadoop2.5.1的地址http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.5.1/hadoop-2.5.1.tar.gz），在終端wget url(下載連接地址)，會直接下載到當前目錄下。而後解壓，tar xvf apache-hadoop-2.5.1.tar.gz，解壓下載的tar.gz。會看到一個名爲hadoop-2.5.1的文件夾，把它拷貝到本身平時安裝軟件的地方，好比我是/opt/lib64/下面，命令是mv hadoop-2.5.1 /opt/lib64/。

 注意：下面修改的時候，你們不會用vi，就用gedit來代替吧，可視化操做，簡潔明瞭。如vi xxx能夠換成gedit xxx

 

下面就須要對Hadoop進行設置了。

 

首先vi /etc/profile,增長

 

bash代碼 

1     #設置jdk的安裝路徑
2     export JAVA_HOME=/opt/lib64/jdk1.8.0_20
3     #指定CLASSPATH和PATH
4     export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
5     export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin
6     #設置的hadoop的環境變量
7     export HADOOP_HOME=/opt/lib64/hadoop-2.5.1
8     export PATH=$HADOOP_HOME/bin:$PATH
9     export CLASSPATH=$HADOOP_HOME/lib:$CLASSPATH

保存退出(按下ESC，而後再按下這三個:wq)

 

哦，別忘了在終端執行命令下source /etc/profile,讓修改過的profile立刻生效。

 

而後進入hadoop下面的etc/hadoop/（不是系統的etc，是hadoop下面的etc，這是一個配置文件夾），用ls命令，能夠看到有不少配置文件。

先vi hadoop-env.sh
bash代碼

export JAVA_HOME=/opt/lib64/jdk1.8.0_20

 
vi yarn-env.sh

bash代碼

export JAVA_HOME=/opt/lib64/jdk1.8.0_20

 

 vi core-site.xml

 <configuration>
     <property>
     <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
   </property>
  <property>
   <name>hadoop.tmp.dir</name>
   <value>/home/hadoop/xxx/tmp </value>
</property>
 </configuration> 

 

保存退出(按下ESC，而後再按下這三個:wq)

vi hdfs-site.xml

 Xml代碼 

 

 1 <configuration>  
 2     <property>  
 3         <name>dfs.namenode.name.dir</name>  
 4         <value>file:/home/hadoop/dfs/name</value>  
 5     </property>  
 6     <property>  
 7         <name>dfs.namenode.data.dir</name>  
 8         <value>file:/home/hadoop/dfs/data</value>  
 9     </property>  
10     <property>  
11         <name>dfs.replication</name>  
12         <value>1</value>  
13     </property>  
14 </configuration>

保存退出(按下ESC，而後再按下這三個:wq)

 

----------------------------按照hadoop官網上面的配置-----------------------

vi mapred-site.xml

Xml代碼 

<configuration>
     <property>
          <name>mapreduce.jobtracker.address</name>
          <value>localhost:9001</value>
     </property>
     <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
     </property>
</configuration>

 

 

保存退出(按下ESC，而後再按下這三個:wq)

 

vi yarn-site.xml:

Xml代碼 

1 <configuration>
2     <property>
3         <name>yarn.nodemanager.aux-services</name>
4         <value>mapreduce_shuffle</value>
5     </property>
6 </configuration>

保存退出(按下ESC，而後再按下這三個:wq)

 -------------------------------------------------------------------------------

 

-------------------------補充---------------ssh免登錄設置

還有就是：因爲原文沒有設置如何面驗證登錄ssh，這邊給與補充。

因爲fedora已經默認安裝了openssh，因此不用再此安裝ssh了。直接直接配置如下就能夠了

 配置 SSH 免密碼登錄 ，下面是bash命令，直接在終端輸入（最好是root身份，如何root？只要終端輸入su，而後root的密碼就能夠登錄root帳戶了）

1. ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa    
2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys   
3. chmod 600 ~/.ssh/authorized_keys    
4. sudo service sshd restart

就能夠了。到此就大功告成了

-----------------------------------------------------------------------------

好了，如今能夠啓動看看了

先格式化，這個很重要。

 

hadoop namenode -format

 這句話基本上就是把目前你的hadoop系統肯定一下結構，咱們的hadoop系統中，通常是一個namenode+多個datanode。

 

namenode至關於顧客房間表，datanode至關於具體的房間。

 

而後啓動hadoop吧。

到hadoop的根目錄，

sbin/start-dfs.sh

 而後再啓動yarn，由於2.5.0的版本，早就已是以yarn這種更好的架構來運行了。

終端顯示 

Starting namenodes on [localhost]
root@localhost's password:
localhost: starting namenode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-namenode-localhost.localdomain.out
root@localhost's password:
localhost: starting datanode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-datanode-localhost.localdomain.out
Starting secondary namenodes [0.0.0.0]
root@0.0.0.0's password:
0.0.0.0: starting secondarynamenode, logging to /opt/lib64/hadoop-2.5.1/logs/hadoop-root-secondarynamenode-localhost.localdomain.out

 

 

sbin/start-yarn.sh

 而後查看一下開啓的進程

 

 

bash命令 

1. jps

終端顯示 

[root@localhost hadoop-2.5.1]# jps
30305 DataNode
26243 org.eclipse.equinox.launcher_1.3.0.v20140415-2008.jar
26645 org.eclipse.equinox.launcher_1.3.0.v20120522-1813.jar
30583 SecondaryNameNode
8216 ResourceManager
30092 NameNode
30831 Jps
8511 NodeManager

 說明hadoop已經啓動成功。

 打開hdfs管理頁面，查看hdfs系統：

    在瀏覽器打開http://localhost:50070,可看到hadoop的管理界面，導航欄的最後一項還能夠查看hadoop裏面的文件。

 

咱們來試着傳個文件，到/home下面，新建一個文件，vim test.txt,隨便寫些東西。保存。

而後把這個文件上傳。

打開job管理頁面，查看job的運行狀況：

    因爲這個是hadoop2.5.1版本，貌似之前的http://localhost:50030換成了如今的http://localhost:8088,因此須要查看jod的運行狀況，須要在瀏覽器打開localhost:8088

如今的ResourceManager和NodeManager代替了原來的JobTracker和TaskTracker

 

hadoop fs -put test.txt /test.first  (表示將本地的text放置在dfs根目錄下，而且名爲test.first能夠隨意命名)

 在瀏覽器的後臺刷新看看有沒有test.first(打開http://localhost:50070，選擇utilties在點擊browse the file system)。

 

你也能夠先給hadoop創建目錄

 

hadoop fs -mkdir /xxx

 上面的上傳文件也能夠變成這樣：

 

hadoop fs -put test.txt /xxx/test.txt

 其餘的操做，你們本身去試吧。

特別感謝lxdhdgss，他的博文地址是：http://www.iteye.com/topic/1135085

(官網有英文版的配置說明，你們能夠參照http://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-common/SingleCluster.html#Configuration)