hadoop視頻學習---2

時間 2019-11-16

標籤 hadoop 視頻學習欄目 Hadoop 简体版

原文原文鏈接

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------html

這個是特殊用法java

-----------------------------------------------------------------------------------------------------------------------------------------------------------------------node

建立密鑰對。由於要鏈接集羣，免密碼linux

1.前提要配置這個（就是要遠程鏈接機添加到這個配置文件裏）vim

2.將公鑰加到遠程機受權列表中windows

另外能夠給本身系統受權，之後不用總輸入密碼。（下圖對遠程機受權可加深理解）網絡

0.
sudo vim /etc/hosts
//將別的主機添加到本身的目錄裏
1.
ssh-keygen -t rsa
//生成密鑰
2.
scp id_rsa.pub  weekend07:/home/hadoop
//將本身主機生成的密鑰發送到另外一臺主機(weekend07)上
3.
cat ../id_rsa.pub  >> ./authorized_keys 
//將對方的公鑰加到本身的主機裏，但上面寫的要和圖片一塊兒看，注意文件位置。
4.
ll -a
//查看隱藏文件
5.
touch authorized_keys
//建立文件
6.
chmod 600 authorized_key
//給這個文件受權
7.
cat id_rsa.pub  >> authorized_keys 
//本身給本身受權，之後操做本身免密碼執行
8.
cat authorized_keys 
//查看本身的密鑰列表都有誰

hadoop2.2.0僞分佈式搭建(hadoop視頻學習---1下面也有一個相似的這個)app

1.準備Linux環境 1.0點擊VMware快捷方式，右鍵打開文件所在位置 -> 雙擊vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 設置網段：192.168.1.0 子網掩碼：255.255.255.0 -> apply -> ok 回到windows --> 打開網絡和共享中心 -> 更改適配器設置 -> 右鍵VMnet1 -> 屬性 -> 雙擊IPv4 -> 設置windows的IP：192.168.1.110 子網掩碼：255.255.255.0 -> 點擊肯定 在虛擬軟件上 --My Computer -> 選中虛擬機 -> 右鍵 -> settings -> network adapter -> host only -> ok ####讓普通用戶具有sudo執行權限 切換到root 而後 vi /ect/sudoers #加入一行 root ALL=(ALL) ALL hadoop ALL=(ALL) ALL 1.1修改主機名 sudo vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=weekend110 ### 1.1.2主機名沒有生效 sudo hostname weekend110 exit #從新登陸 1.2修改IP(大多數狀況下用窗口設置，不用下面的命令行) 兩種方式： 第一種：經過Linux圖形界面進行修改（強烈推薦） 進入Linux圖形界面 -> 右鍵點擊右上方的兩個小電腦 -> 點擊Edit connections -> 選中當前網絡System eth0 -> 點擊edit按鈕 -> 選擇IPv4 -> method選擇爲manual -> 點擊add按鈕 -> 添加IP：192.168.1.119 子網掩碼：255.255.255.0 網關：192.168.1.1 -> apply 第二種：修改配置文件方式（屌絲程序猿專用） vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE="eth0" BOOTPROTO="static" ### HWADDR="00:0C:29:3C:BF:E7" IPV6INIT="yes" NM_CONTROLLED="yes" ONBOOT="yes" TYPE="Ethernet" UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c" IPADDR="192.168.1.44" ### NETMASK="255.255.255.0" ### GATEWAY="192.168.1.1" ### 1.3修改主機名和IP的映射關係 vim /etc/hosts

192.168.1.170 weekend00
192.168.1.171 weekend01
192.168.1.172 weekend02
192.168.1.173 weekend03
192.168.1.174 weekend04
192.168.1.175 weekend05框架

     *linux7 永久修改 hostnamectl set-hostname xxx

1.4關閉防火牆 #查看防火牆狀態 service iptables status #關閉防火牆 service iptables stop #查看防火牆開機啓動狀態 chkconfig iptables --list #關閉防火牆開機啓動 chkconfig iptables off 1.5重啓Linux reboot 2.安裝JDK 2.1上傳 2.2解壓jdk #建立文件夾 mkdir /usr/java #解壓 tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/
        
    2.3將java添加到環境變量中 vim /etc/profile #在文件最後添加 export JAVA_HOME=/usr/java/jdk1.7.0_55 export PATH=$PATH:$JAVA_HOME/bin #刷新配置 source /etc/profile 3.安裝Hadoop 3.1上傳hadoop安裝包 3.2解壓hadoop安裝包 mkdir /cloud #解壓到/cloud/目錄下 tar -zxvf hadoop-2.2.0.tar.gz -C /cloud/
        
    3.3修改配置文件（5個） 第一個：hadoop-env.sh #在27行修改 export JAVA_HOME=/usr/java/jdk1.7.0_55 第二個：core-site.xml <configuration>
            <!-- 指定HDFS老大（namenode）的通訊地址 -->
            <property>
                    <name>fs.defaultFS</name>
                    <!--下面指點主機名   -->
                    <value>hdfs://weekend110:9000</value>
            </property>
            <!-- 指定hadoop運行時產生文件的存儲路徑 -->
            <property>
                    <name>hadoop.tmp.dir</name>
                    <value>/cloud/hadoop-2.2.0/tmp</value>
            </property>
        </configuration> 第三個：hdfs-site.xml <configuration>
            <!-- 設置hdfs副本數量 -->
            <property>
                    <name>dfs.replication</name>
                    <!--3個比較合適。但本機就一個-->
                    <value>1</value>
            </property>
        </configuration> 第四個：mapred-site.xml.template 須要重命名： mv mapred-site.xml.template mapred-site.xml <configuration>
            <!-- 通知框架MR使用YARN -->
            <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
            </property>
        </configuration> 第五個：yarn-site.xml <configuration>
            <!-- reducer取數據的方式是mapreduce_shuffle -->
            <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
            </property>
        </configuration>
    
    3.4將hadoop添加到環境變量 vim /etc/profile export JAVA_HOME=/usr/java/jdk1.7.0_55 export HADOOP_HOME=/cloud/hadoop-2.2.0 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin source /etc/profile 3.5格式化HDFS（namenode）第一次使用時要格式化 hadoop namenode -format 3.6啓動hadoop 先啓動HDFS sbin/start-dfs.sh 再啓動YARN sbin/start-yarn.sh 3.7驗證是否啓動成功 使用jps命令驗證 27408 NameNode 28218 Jps 27643 SecondaryNameNode 28066 NodeManager 27803 ResourceManager 27512 DataNode http://192.168.1.44:50070 (HDFS管理界面)
 在這個文件中添加linux主機名和IP的映射關係 C:\Windows\System32\drivers\etc\hosts 192.168.1.119 itcast http://192.168.1.44:8088 （MR管理界面）
        
4.配置ssh免登錄 生成ssh免登錄密鑰 cd ~，進入到個人home目錄 cd .ssh/ ssh-keygen -t rsa （四個回車） 執行完這個命令後，會生成兩個文件id_rsa（私鑰）、id_rsa.pub（公鑰） 將公鑰拷貝到要免登錄的機器上 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 或 ssh-copy-id -i localhost

linux細節方面,重要ssh

1）linux的root用戶運行的進程，普通用戶看不到。

2）linux建密鑰時應該統一在/root目錄下生成。這個須要特別注意。由於有時候linux會進入用戶目錄,例如:/root/xxx

3）普通用戶設置的密鑰只適合使用普通用戶。通常學習或測試用root,在根目錄生成密鑰，並分發集羣中。

--------上面是本身實際經驗，特別有用！

---------------------------------------遇到的問題--------------------------------------------------

當集羣都爲standby 時。須要有zookeeper的DFSZKFailoverController這個進程。

出現這種狀況之一是由於沒有啓動下面的

 先啓動HDFS
        sbin/start-dfs.sh

----------------------------------------

./hadoop-daemon.sh start namenode
./hadoop-daemon.sh start secondarynamenode
./hadoop-daemon.sh start jobtracker
./hadoop-daemon.sh start datanode
./hadoop-daemon.sh start tasktracker

還有一種手動啓動DFSZKFailoverController
 ./hadoop-daemon.sh start DFSZK\

啓動單個進程

/hadoop/sbin/hadoop-daemon.sh start namenode

/hadoop/sbin/hadoop-daemon.sh start journalnode

/hadoop/sbin/hadoop-daemon.sh start datanode

/hadoop/sbin/hadoop-daemon.sh start zkfc

若是要中止能夠運行以下命令

./hadoop-daemon.sh stop namenode
./hadoop-daemon.sh stop secondarynamenode
./hadoop-daemon.sh stop jobtracker
./hadoop-daemon.sh stop datanode
./hadoop-daemon.sh stop tasktracker

啓動ResourceManager進程

/hadoop/sbin/yarn-daemon.sh start resourcemanager

/hadoop/sbin/yarn-daemon.sh stop resourcemanager
注意：啓動和中止單個hdfs相關的進程使用的是"hadoop-daemon.sh"腳本，而啓動和中止yarn使用的是"yarn-daemon.sh"腳本。

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。