Hadoop安裝（Ubuntu Kylin 14.04）

安裝環境：ubuntu kylin 14.04   haoop-1.2.1   hadoop下載地址：http://apache.mesi.com.ar/hadoop/common/hadoop-1.2.1/

1.安裝JDK，這裏要注意的是：要想在hadoop中使用，則須要在hadoop下輸入命令：source  /etc/profile 來實現，而後用java -version 測試看看是否生效了。

2.建立hadoop用戶和用戶組（切換到root）

建立hadoop用戶組   sudo addgroup hadoop

建立hadoop用戶      sudo adduser -ingroup hadoop hadoop

給hadoop用戶添加權限，打開/etc/sudoers文件;      sudo vim /etc/sudoers

按回車鍵後就會打開/etc/sudoers文件了，給hadoop用戶賦予root用戶一樣的權限。

在root   ALL=(ALL:ALL)   ALL下添加hadoop   ALL=(ALL:ALL)  ALL，   即：hadoop  ALL=(ALL:ALL) ALL  這樣就可使用sudo了。

3.安裝SSH  ssh能夠實現遠程登陸和管理。

    安裝openssh-server      sudo apt-get install ssh openssh-server  

    注： ubuntu安裝openssh-server 報依賴錯誤的解決過程

    服務啓動：sudo /etc/init.d/ssh start

    查看服務啓動是否正確：ps -e | grep ssh     

     ssh生成密鑰有rsa和dsa兩種生成方式，默認狀況下采用rsa方式。

    建立ssh-key（切換到hadoop），這裏咱們採用rsa方式;  ssh -keygen -t rsa -P "" 回車後會在~/.ssh/下生成兩個文件：id_rsa和id_rsa.pub這兩個文件是成對出現的

    進入~/.ssh/目錄下，將id_rsa.pub追加到authorized_keys受權文件中，開始是沒有authorized_keys文件的;

　 注：這裏可能會出現一個問題就是受權後，並無實現無密碼登陸：那是由於authorized_keys 的權限必須改成600，authorized_keys 在 ./hadoop/.ssh/下

     cd ~/.ssh

    cat id_rsa.pub >> authorized_keys

    登陸： ssh  localhost 

    退出： exit

　　這樣就能夠實現無密碼登陸了。

四、解壓hadoop源碼包

終端下進入hadoop源碼包所在目錄，使用複製命令把hadoop源碼包複製到/home/hadoop下

1 cp hadoop-1.2.1.tar.gz /home/hadoop

而後解壓,命令行以下

tar -xzvf *.tar.gz

 

五、配置hadoop的hadoop/conf下的hadoop-env.sh，core-site.xml，mapred-site.xml，hdfs-site.xml

 配置hadoop-1.2.1/conf/hadoop-env.sh，命令行：

1 vim /home/hadoop/hadoop-1.2.1/conf/hadoop-env.sh

找到JAVA_HOME

把前面的#去掉，加上本系統jdk路徑，保存退出

配置hadoop-1.2.1/conf/core-site.xml，命令行：

gedit /home/hadoop/hadoop-1.2.1/conf/core-site.xml

在hadoop新建hadoop_tmp目錄，緣由是http://blog.csdn.net/bychjzh/article/details/7830508

將以下<configuration> </configuration>之間的添加進入，保存退出

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://localhost:9000</value>
        </property>
    <property>
          <name>hadoop.tmp.dir</name>
          <value>/home/hadoop/hadoop-1.2.1/hadoop_tmp</value>
         <description>A base for other temporary directories.</description>
    </property>


</configuration>

配置hadoop-1.2.1/conf/mapre-site.xml，命令行：

1 vim /home/hadoop/hadoop-1.2.1/conf/mapre-site.xml

將以下<configuration> </configuration>之間的添加進入，保存退出

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>

配置hadoop-1.2.1/conf/hdfs-site.xml，命令行：

1 vim /home/hadoop/hadoop-1.2.1/conf/hdfs-site.xml

將以下<configuration> </configuration>之間的添加進入，保存退出

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

</configuration>

至此hadoop的安裝配置已經完畢，稍後的是hadoop的初次運行操做

六、格式化hdfs文件系統

進入hadoop-1.2.1

./bin/hadoop namenode -format

當你看到下圖時

恭喜你，hdsf文件系統格式化成功

七、啓動hadoop服務

./bin/start-all.sh

出現以下畫面

jps

jps是查看java虛擬機運行的java線程

而後出現以下畫面

不計jps，有五個hadoop相關線程，恭喜你，hadoop安裝配置成功，運行正常。

而後能夠退出hadoop。，之後再用時再啓動，導入數據

./bin/stop-all.sh 
注：用戶不在sudoers文件中的解決方法