Hadoop 僞分佈式安裝

在遠程服務器建立hadoop用戶

groupadd hadoop  添加一個組
useradd hadoop -g hadoop  添加用戶

將編譯好的hadoop文件上傳至工做目錄，我這裏是/opt目錄

hadoop也要設置環境變量，使用vi /etc/profile命令編輯添加以下內容：

export HADOOP_HOME=/opt/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

一樣也要執行source /etc/profile使配置文件生效,而後執行命令使用命令chown -R hadoop:hadoop hadoop/將其全部者改成hadoop

修改hadoop的配置文件

1. 修改hadoop目錄下的conf/hadoop-env.sh文件

　加入java的安裝路徑export JAVA_HOME=/opt/java/jdk

2. 把hadoop目錄下的conf/core-site.xml文件修改爲以下：

 <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/data/tmp</value>
    </property>

3. 把hadoop目錄下的conf/ hdfs-site.xml文件修改爲以下：

//由於是僞集羣因此值是1,若是是集羣，就是幾臺的值
<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

4. 把hadoop目錄下的conf/ mapred-site.xml文件修改爲以下：

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

運行hadoop

1. 格式化分佈式文件系統

bin/hdfs namenode -format

2. Start NameNode daemon and DataNode daemon

sbin/start-dfs.sh

3.執行jps若是包含一下進程就是啓動成功了：

3200 SecondaryNameNode
3271 JobTracker
3370 TaskTracker
3002 NameNode
3106 DataNode
5687 Jps

啓動成功以後能夠用瀏覽器訪問（NameNode後臺）：localhost:50070/

運行YARN

修改mapred-site.xml內容以下：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改yarn-site.xml：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

Start ResourceManager daemon and NodeManager daemon：

sbin/start-yarn.sh

啓動成功以後能夠用瀏覽器訪問（ResourceManager後臺）：localhost:8088/

以前在雲主機上安裝一直覺得官方提供的壓縮包是32位，原來官網從hadoop2.5版本開始就提供了64位。坑了好幾天了。

查看hadoop是32位仍是64位：

/hadoop-2.7.0/lib/native$ file libhadoop.so.1.0.0  //hadoop的native目錄

官方文檔：http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html