第一次啓動hadoop

啓動步驟:node

  1. 修改hadoop配置文件
    shell

    conf/mapred-site.xml,添加如下內容ubuntu

<property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>

  conf/core-site.xml,添加如下內容瀏覽器

<property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>

  conf/hdfs-site.xml,添加如下內容ssh

<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>

   conf/hadoop-env.sh,添加如下內容jvm

export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_45

   其中JAVA_HOME指向個人jdk安裝路徑tcp

2.設置免密碼登陸oop

    由於Hadoop啓動啓動/中止腳本時須要經過SSH發送命令啓動相關守護進程,爲了不每次啓動/中止Hadoop輸入密碼驗證,須要設置免密碼登陸,具體步驟以下:code

   1)打開shell終端,輸入如下命令:orm

ssh-keygen -t rsa

   會在「~/.ssh/"目錄下生成公匙文件id_rsa.pub和私匙文件id_rsa

    1)將公匙文件id_rsa.pub中的內容複製到同目錄下如authroized_keys文件中:

cd ~/.ssh/
cat id_rsa.pub >> authroized_keys

3. 啓動hadoop

1)格式化HDFS:

./hadoop namenode -format

2)啓動hadoop

./start-all.sh

在個人ubuntu 桌面版中有由於默認沒有安裝ssh server,會報如下錯誤:

connect to host localhost port 22: Connection refused

解決方法是安裝ssh server便可

connect to host localhost port 22: Connection refused

啓動成功後用如下命令確認hadoop已經啓動成功

jason@jason-ThinkPad-E450:~/release-1.0.1/bin$ netstat -ant|grep 50030
tcp6       0      0 :::50030                :::*                    LISTEN     
jason@jason-ThinkPad-E450:~/release-1.0.1/bin$ netstat -ant|grep 50070
tcp6       0      0 :::50070                :::*                    LISTEN

用瀏覽器訪問localhost:50030/,localhost:50070/能夠查看MapReduce和HDFS的運行狀況。

相關文章
相關標籤/搜索