Mac 部署Hadoop環境

1、安裝JDK

  1. 1.8以上均可以,不想去官網下載的直接戳這裏 提取碼: abfb
  2. 解壓JDK
tar –zxvf jdk-8u111-linux-x64.tar.gz /Users/wyd/software
複製代碼
  1. 配置JDK環境變量
vim ~/.bash_profile
複製代碼

文件中添加(注意看本身的安裝路徑)html

export JAVA_HOME= /usr/local/jdk1.8.0_111/
  export PATH=$JAVA_HOME/bin:$PATH
複製代碼
  1. 使用 source 命令使環境變量生效
source ~/ .bash_profile
複製代碼
  1. 驗證環境變量是否正確
java -version
複製代碼

圖片.png

2、修改主機名

  1. 修改主機名
sudo scutil --set HostName name
複製代碼

查看java

hostname
複製代碼

2. 配置host文件,終端輸入

vim /etc/hosts
複製代碼

文件中加入

127.0.0.1 master
複製代碼

執行source /etc/hosts 使文件失效node

source /etc/hosts
複製代碼

3、免密鑰登陸配置

問:爲什麼要配置免密匙登陸? linux

答:遠程登陸的時候須要驗證,你要是不嫌麻煩每次啓動hadoop集羣的時候輸入密碼,反正我懶,因此配置下 web

  1. 生成私鑰和公鑰
ssh-keygen -t rsa
複製代碼

經過 ssh-keygen 命令來生成密鑰對在.ssh 目錄下(會有提示,回車便可) 此命令執行後,會在~/.ssh 目錄下生成私鑰 id_rsa 和公鑰 id_rsa.pub) 並將 id_rsa.pub 中的公鑰信息保存到authorized_keys 中apache

cat id_rsa.pub >> authorized_keys
複製代碼

圖片.png
3. 修改文件受權

chmod 600 ./authorized_keys
複製代碼

圖片.png
四、驗證是否成功

ssh master
複製代碼

3、 Hadoop 配置部署

  1. 新建一個文件夾用來放全部關於大數據安裝環境,我這裏叫software,你隨意開心就好。
mkdir software
複製代碼

圖片.png
2. 下載hadoop2.7.3安裝包到software 官網或者 直接戳這裏

提取碼: e65w
複製代碼
  1. 解壓安裝包
tar -zvxf hadoop-2.7.3.tar.gz
複製代碼

圖片.png
4. 新建文件夾存儲hadoop相關數據就叫bigdata

mkdir bigdata
複製代碼
  1. 此時就到修改配置文件了,進入hadoop安裝目錄,直接上圖
    圖片.png
  2. 配置環境變量 core-site.xml
執行:vim core-site.xml
複製代碼

把如下代碼複製到 core-site.xml(注意下圖中標紅的地方,必定不能出錯,切記!切記!切記!)編程

<configuration>
    <property>
        <!-- 指定 hadoop 運行時產生文件的存儲路徑 -->
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>A base for other temporary directories.</description>
    </property>
    <property>
        <!-- hdfs namenode 的通訊地址 -->
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.proxyuser.wyd.groups</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.wyd.hosts</name>
        <value>*</value>
    </property>
</configuration>
複製代碼

七、配置文件系統 hdfs-site.xml(注意下圖標紅的地方不能出錯,切記!切記) 該文件指定與 HDFS 相關的配置信息。須要修改 HDFS 默認的塊的副本屬性,由於 HDFS 默認狀況下每一個數 據塊保存 3 個副本,而在僞分佈式模式下運行時,因爲只有一個數據節點,因此須要將副本個數改成 1;

vim hdfs-site.xml
複製代碼

圖片.png

<configuration>
    <property>
        <!-- 指定 HDFS 存儲數據的副本數目,默認狀況下是 3 份-->
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <!-- name node 存放 name table 的目錄 -->
      <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <!--datanode 存放數據 block 的目錄 -->
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>
複製代碼

圖片.png

  1. 配置計算框架 mapred-site.xml,指定MapReduce 做業相關的配置屬性 文件中是mapred-site.xml.template 將其重命名爲 mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
 vim mapred-site.xml
複製代碼
<configuration>
    <property>
        <!-- 指定 mapreduce 編程模型運行在 yarn 上 -->
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
<property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/user/history/done</value>
</property>
<property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/user/history/done_intermediate</value>
</property>
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
</property>
</configuration>
複製代碼

9. 配置文件系統 yarn-site.xml,注意下圖中標紅的地方,和你主機名稱保持一致

vim yarn-site.xml
複製代碼
<configuration>
    <property>
        <!-- mapreduce 執行 shuffle 時獲取數據的方式 -->
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:18040</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:18030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:18025</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:18141</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:18088</value>
    </property>
</configuration>
複製代碼

十、Hadoop namenode 格式化

hdfs namenode -format
複製代碼

看到successfully formatted" 和 "Exitting with status 0" 的提示,若是是"Exitting with status 1"則表示失敗,我這裏格式化了就再也不操做 十一、啓動hadoop集羣vim

start-all.sh
複製代碼

十二、查看進程是否正常,是否有這幾個進程 namenode、secondarynamenode、datanode、resourcemanager、nodemanagerbash

jps
複製代碼

如圖標紅的進程,其他不用管 oracle

1三、查看webUI是否正常 瀏覽其中輸入

http://master:50070/
複製代碼

如圖則表示正常:

到這裏hadoop集羣就搭建好了,若有問題歡迎指正,謝謝!

相關文章
相關標籤/搜索