Mac 部署Hadoop環境

1、安裝JDK

1. 1.8以上均可以，不想去官網下載的直接戳這裏 提取碼: abfb
2. 解壓JDK

tar –zxvf jdk-8u111-linux-x64.tar.gz /Users/wyd/software
複製代碼

3. 配置JDK環境變量

vim ~/.bash_profile
複製代碼

文件中添加（注意看本身的安裝路徑）

export JAVA_HOME= /usr/local/jdk1.8.0_111/
  export PATH=$JAVA_HOME/bin:$PATH
複製代碼

4. 使用 source 命令使環境變量生效

source ~/ .bash_profile
複製代碼

5. 驗證環境變量是否正確

java -version
複製代碼

2、修改主機名

1. 修改主機名

sudo scutil --set HostName name
複製代碼

查看

hostname
複製代碼

2. 配置host文件，終端輸入

vim /etc/hosts
複製代碼

文件中加入

127.0.0.1 master
複製代碼

執行source /etc/hosts 使文件失效

source /etc/hosts
複製代碼

3、免密鑰登陸配置

問：爲什麼要配置免密匙登陸？

答：遠程登陸的時候須要驗證，你要是不嫌麻煩每次啓動hadoop集羣的時候輸入密碼，反正我懶，因此配置下

1. 生成私鑰和公鑰

ssh-keygen -t rsa
複製代碼

經過 ssh-keygen 命令來生成密鑰對在.ssh 目錄下(會有提示，回車便可) 此命令執行後，會在~/.ssh 目錄下生成私鑰 id_rsa 和公鑰 id_rsa.pub） 並將 id_rsa.pub 中的公鑰信息保存到authorized_keys 中

cat id_rsa.pub >> authorized_keys
複製代碼

3. 修改文件受權

chmod 600 ./authorized_keys
複製代碼

四、驗證是否成功

ssh master
複製代碼

3、 Hadoop 配置部署

1. 新建一個文件夾用來放全部關於大數據安裝環境，我這裏叫software，你隨意開心就好。

mkdir software
複製代碼

2. 下載hadoop2.7.3安裝包到software 官網或者 直接戳這裏

提取碼: e65w
複製代碼

3. 解壓安裝包

tar -zvxf hadoop-2.7.3.tar.gz
複製代碼

4. 新建文件夾存儲hadoop相關數據就叫bigdata

mkdir bigdata
複製代碼

5. 此時就到修改配置文件了，進入hadoop安裝目錄，直接上圖

   

6. 配置環境變量 core-site.xml

執行：vim core-site.xml
複製代碼

把如下代碼複製到 core-site.xml(注意下圖中標紅的地方，必定不能出錯，切記！切記！切記！)

<configuration>
    <property>
        <!-- 指定 hadoop 運行時產生文件的存儲路徑 -->
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>A base for other temporary directories.</description>
    </property>
    <property>
        <!-- hdfs namenode 的通訊地址 -->
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.proxyuser.wyd.groups</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.wyd.hosts</name>
        <value>*</value>
    </property>
</configuration>
複製代碼

七、配置文件系統 hdfs-site.xml(注意下圖標紅的地方不能出錯，切記！切記) 該文件指定與 HDFS 相關的配置信息。須要修改 HDFS 默認的塊的副本屬性，由於 HDFS 默認狀況下每一個數 據塊保存 3 個副本，而在僞分佈式模式下運行時，因爲只有一個數據節點，因此須要將副本個數改成 1;

vim hdfs-site.xml
複製代碼

<configuration>
    <property>
        <!-- 指定 HDFS 存儲數據的副本數目，默認狀況下是 3 份-->
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <!-- name node 存放 name table 的目錄 -->
      <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <!--datanode 存放數據 block 的目錄 -->
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>
複製代碼

8. 配置計算框架 mapred-site.xml,指定MapReduce 做業相關的配置屬性 文件中是mapred-site.xml.template 將其重命名爲 mapred-site.xml

mv mapred-site.xml.template mapred-site.xml
 vim mapred-site.xml
複製代碼

<configuration>
    <property>
        <!-- 指定 mapreduce 編程模型運行在 yarn 上 -->
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
<property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/user/history/done</value>
</property>
<property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/user/history/done_intermediate</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
</property>
</configuration>
複製代碼

9. 配置文件系統 yarn-site.xml,注意下圖中標紅的地方，和你主機名稱保持一致

vim yarn-site.xml
複製代碼

<configuration>
    <property>
        <!-- mapreduce 執行 shuffle 時獲取數據的方式 -->
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:18040</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:18030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:18025</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:18141</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:18088</value>
    </property>
</configuration>
複製代碼

十、Hadoop namenode 格式化

hdfs namenode -format
複製代碼

看到successfully formatted" 和 "Exitting with status 0" 的提示，若是是"Exitting with status 1"則表示失敗，我這裏格式化了就再也不操做 十一、啓動hadoop集羣

start-all.sh
複製代碼

十二、查看進程是否正常，是否有這幾個進程 namenode、secondarynamenode、datanode、resourcemanager、nodemanager

jps
複製代碼

如圖標紅的進程，其他不用管

1三、查看webUI是否正常 瀏覽其中輸入

http://master:50070/
複製代碼

如圖則表示正常：

到這裏hadoop集羣就搭建好了，若有問題歡迎指正，謝謝！