Hadoop安裝 - JavaShuo

1、windows下安裝Hadoop　　這位仁兄寫得很好了，略總結一下：html

　一、jdk環境：版本1.8以上(參考網上教程)java

　　 ①下載jdk-8u131-windows-x64.exe 　node

　　 ②安裝注意：jre和jdk不能再同一目錄, 安裝目錄不要有#@之類的字符, jre要選公共jre。linux

　　③配置：電腦屬性->環境變量：編輯Path,添加【%JAVA_HOME%\bin】和【%JAVA_HOME%\jre\bin】apache

　　　　建立JAVA_HOME 【jdk安裝目錄】，CLASSPATH 【.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar; 】。ubuntu

　二、hadoop環境：windows

　　①下載hadoop-2.6.5.tar.gz，解壓並配置環境變量HADOOP_HOME【解壓目錄】。cmd試試hadoop version瀏覽器

　　 ②下載解壓hadoop-2.7.3windows64位，替換掉前者的bin目錄。oracle

　　 ③修改hadoop2.7.4\etc\hadoop下的四個配置文件 core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xmlapp

　　　　說明：分別設置了hadoop雲端地址hdfs://localhost:8010，三大目錄空間temp name data，指明用YARN操做系統運行MR。

　　 ④啓用：cmd格式化上述配置 hdfs namenode -format，轉入hadoop/sbin下執行start-dfs 或 start-all 就能啓動了。

　　　　 jps命令查看五項是否啓動，訪問http://localhost:50070 看看是否成功！　　　　

問題：沒法啓動datanode，這是從新格式化不當形成clusterID不一致！兩種解決方法：

　　　　1. 從新格式化hdfs方法。 2. 複製使得data文件和name文件中的clusterID一致！

tips：每次都命令行啓動太麻煩，可打包成bat文件右擊管理員模式執行 start cmd /k "cd/d E:/applications/hadoop-2.6.5/sbin&&start-all"

2、ubuntu18下安裝Hadoop

　一、聯網：(當初真爲這煩死了) NAT模式下只留VMnet8就好了，地址是自動分配的即動態ip。

　聯網的目的是下載jdk和hadoop，但你也能夠在windows下載後上傳虛擬機，這要用到MobaXterm.exe ，打開後：

　二、jdk環境：

　　①下載jdk-8u201-linux-x64.tar.gz

　　②解壓 tar -zxvf jdk-8u201-linux-x64.tar.gz -C /usr/java到該目錄中

　　③修改配置文件gedit /etc/profile　　而後啓用source /etc/profile(每次都要)，測試java -version

export JAVA_HOME=/usr/java/jdk1.8.0_201 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:${JAVA_HOME}/lib/dt.jar:$JRE_HOME/lib/tools.jar export PATH=$JAVA_HOME/bin:$PATH

export HADOOP_HOME=/usr/hadoop-2.6.5
export PATH=${HADOOP_HOME}/bin:$PATH
export CLASSPATH=${CLASSPATH}:${HADOOP_HOME}/share/hadoop/common/hadoop-common-2.6.5.jar:${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.5.jar

　三、hadoop環境：

　　①下載hadoop-2.6.5.tar.gz並解壓 tar -zxvf hadoop-2.6.5.tar.gz –C /usr到該目錄

　　②修改配置文件gedit /etc/profile並啓用(source /etc/profile)，測試hadoop version

　　③修改hadoop2.7.4\etc\hadoop下的四個配置文件，

　　　　而且在hadoop-2.6.5/etc/hadoop/hadoop-env.sh中修改【export JAVA_HOME="/usr/java/jdk1.8.0_201"】

　　④初始格式化bin/hdfs namenode –format，啓用sbin/start-all.sh。

打開虛擬機瀏覽器訪問http://localhost:50070 看看是否成功，或者windows下瀏覽器http://10.0.0.128:50070 10.0.0.128是我虛擬機裏的ip。

之後只要source /etc/profile　和　sbin/start-all.sh ！

附四個配置文件 core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml：

一、core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <!--指定namenode的地址-->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:8010</value>
    <description>HDFS的URI，文件系統://namenode標識:端口號</description>
  </property>
  <!--用來指定使用hadoop時產生文件的存放目錄-->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/D:/SDE/Hadoop2.7.4/workplace/tmp</value>    <!-- 虛擬機中： /usr/hadoop/tmp  -->
    <description>namenode上本地的hadoop臨時文件夾</description>
   </property>
</configuration>

二、hdfs-site.xml:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <!--指定hdfs保存數據的副本數量-->
  <property>
    <name>dfs.replication</name>
    <value>1</value>
    <description>副本個數，配置默認是3,應小於datanode機器數量</description>
  </property>

  <property>
    <name>dfs.name.dir</name>
    <value>/D:/SDE/Hadoop2.7.4/workplace/name</value>    <!--虛擬機中  /usr/hadoop/name  -->
    <description>namenode上存儲hdfs名字空間元數據 </description>
  </property>

  <property>
    <name>dfs.data.dir</name>
    <value>/D:/SDE/Hadoop2.7.4/workplace/data</value>　　<!--虛擬機中 /usr/hadoop/data  -->
    <description>datanode上數據塊的物理存儲位置</description>
  </property>
</configuration>

三、mapred-site.xml:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!--告訴hadoop之後MR運行在YARN上--> 
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

</configuration>

四、yarn-site.xml ：

<?xml version="1.0"?>
<configuration>

<!--nomenodeManager獲取數據的方式是shuffle-->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

<!--指定Yarn的老大(ResourceManager)的地址-->   
<!--****************-->  

<property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property> 
</configuration>

2019-07-18　　16:08:21