Hadoop單機環境搭建

＃Hadoop環境#

##操做系統## 我用的是Mac，其實Mac系統也是Linux的一個分支，用RedHat,CenterOS,Ubuntu等都是同樣的。不建議在windows下安裝Hadoop

##安裝前提##

• Java
• SSH

##獲取Hadoop安裝包##

• 這個本身百度吧，我用的是hadoop-2.3.0

##將下載的hadoop安裝包用FTP工具上傳到Linux服務器的/usr/local目錄下

##解壓hadoop壓縮包

cd /usr/local/  
tar -zxvf hadoop-2.3.0.tar.gz

##設置環境變量

• vi /etc/profile

• 添加環境變量: export HADOOP_HOME=/usr/local/hadoop-2.3.0
• 將hadoop添加到PATH變量中: PATH = $HADOOP_HOME/bin:$PATH

• 使環境變量生效 : source /etc/profile

##修改Hadoop配置文件##

###修改hdfs-site.xml###

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>

###修改core-site.xml

<configuration>
    <property>
            <name>fs.default.name</name>
            <value>hdfs://localhost:9000</value>
    </property>
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/local/hadoop-2.3.0</value>
    </property>
</configuration>

###修改 mapred-site.xml

<configuration>
    <property>
            <name>mapred.job.tracker</name>
            <value>localhost:9001</value>
    </property>
</configuration>

###修改hadoop-env.sh

增長一行:(依照我的的Java安裝路徑填寫)

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_25.jdk/Contents/Home

##至此，hadoop的安裝和配置已經ok##

• 先格式化一下HDFS系統：

  hadoop namenode -format

• 而後咱們能夠啓動hadoop了

  cd /usr/local/hadoop-2.3.0/sbin
  ./start-all.sh

• 若是啓動時 沒有明顯的報錯，那麼說明安裝成功了。

##驗證 hadoop fs -mkdir /d1 ＃建立的目錄 hadoop fs -ls / ＃查看根目錄

若是結果正確，表明hadoop單機環境搭建成功.恭喜！～