hadoop單機及僞分佈式

時間 2019-11-06

原文原文鏈接

hadoop的基本概念
僞分佈式hadoop集羣安裝
hdfs、MapReduce演示

互聯網正在從IT走向DT時代。

大數據應用分析
一、統計類的分析
二、推薦類的分析    
三、機器學習（分類，聚類）
四、人工智能、預測（算法）

1、什麼是hadoop

官網：http://hadoop.apache.org

hadoop是apache旗下的一套開源軟件平臺。
是一個可靠的、可擴展的、可分佈式計算的開源軟件。

apache hadoop平臺是一個框架，容許使用簡單的編程模型。
該平臺被設計成能夠從單個服務器擴展到數千臺服務器，每一個服務器都提供本地計算和存儲。
也被設計成可檢測和處理應用層的故障（即高可靠、高容錯），高可用服務是基於計算機集羣的，而且其中每一臺計算機都有可能失效。

hadoop提供的功能：利用服務器集羣，根據用戶的自定義業務邏輯，對海量數據進行分佈式處理

做者：doug  cutting

hadoop的核心組件：
    hadoop common：hadoop工具
    hadoop  distributed file system（HDFS）：分佈式文件系統，解決海量數據的存儲
    hadoop  YARN：運算資源調度系統，解決資源管理調度
    hadoop MapReduce：分佈式運算編程框架，解決海量數據的分析模型

Hadoop在2.0將資源管理從MapReduce中獨立出來變成通用框架後，就從1.0的三層結構演變爲了如今的四層架構：
        1. 底層——存儲層，文件系統HDFS
        2. 中間層——資源及數據管理層，YARN以及Sentry等
        3. 上層——MapReduce、Impala、Spark等計算引擎
        4. 頂層——基於MapReduce、Spark等計算引擎的高級封裝及工具，如Hive、Pig、Mahout等等

廣義上來講，hadoop一般是指一個更普遍的概念——Hadoop生態圈

2、hadoop產生背景

一、hadoop最先起源於Nutch。
Nutch的設計目標是構建一個大型的全網搜索引擎，包括網頁抓取、索引、查詢等功能，但隨着抓取網頁數量的增長，遇到了嚴重的可擴展性問題——如何解決數十億網頁的存儲和索引問題。

二、2003年、2004年穀歌發表的兩篇論文爲該問題提供了可行的解決方案。
分佈式文件系統（GFS），可用於處理海量網頁的存儲；
分佈式計算框架MapReduce，可用於處理海量網頁的索引計算問題。

三、Nutch的開發人員完成了相應的開源實現HDFS和MapReduce，並從Nutch中剝離成爲獨立項目hadoop，到2008年1月，hadoop成爲apache頂級項目，迎來了快速發展期。

3、hadoop在大數據、雲計算中的位置和關係

一、雲計算是分佈式計算、並行計算、網格計算、多核計算、網絡存儲、虛擬化、負載均衡等傳統計算機技術和互聯網技術融合發展的產物。藉助Iaas（基礎設施即服務）、Paas（平臺即服務）、Saas（軟件即服務）等業務模式，把強大的計算能力提供給終端用戶

二、現階段，雲計算的底層支撐技術爲「虛擬化」和「大數據技術」

三、而hadoop則是雲計算的Paas層的解決方案之一，並不等同於Paas，更不等同於雲計算自己。

4、大數據處理業務應用
一、大型網站web服務器的日誌分析：一個大型網站的web服務器集羣 ，每5分鐘收錄的點擊日誌高達800GB左右，峯值點擊每秒達到900萬次，每一個5分鐘將數據裝載到內存中，高速計算網站的熱點URL，並將這些信息反饋給前端緩存服務器，以提升緩存命中率。

二、運營商流量分析：天天的流量數據在2TB~5TB左右，拷貝到HDFS上，經過交互式分析引擎框架，能運行幾百個複雜的數據清洗和報表業務，總時間比相似硬件配置的小型機集羣和DB2快2~3倍。

三、IPTV收視統計與點播推薦：一個實時收視率統計和點播推薦系統，能夠實時收集用戶的遙控器操做，提供實時的收視率榜單；而且根據內容推薦和協同過濾算法，實現了點播推薦服務。

四、城市交通卡口視頻監控信息的實時分析：採用基於流式stream進行全省範圍的交通卡口經過視頻監控收錄的信息進行實時分析、告警和統計（計算實時路況），對全省範圍內未年檢車輛或×××的分析延時在300毫秒左右，能夠作出實時告警。

大數據是個複合專業，包括應用開發、軟件平臺、算法、數據挖掘等，所以，大數據技術領域的就業選擇是多樣的，但就hadoop而言，一般都須要具有如下技能或知識：
一、hadoop分佈式集羣的平臺搭建
二、hadoop分佈式文件系統HDFS的原理理解及使用
三、hadoop分佈式運算框架MapReduce的原理理解及編程
四、hive數據倉庫工具的熟練應用
五、flume、sqoop、oozie等輔助工具的熟練使用
六、shell、python等腳本語言的開發能力

hadoop對海量數據處理的解決思路：

HDFS的架構：
主從結構：
主節點：namenode
從節點：有不少個datanode

namenode負責：
接受用戶操做請求
存儲文件的元數據以及每一個文件的塊列表和塊所在的datanode等
維護文件系統的目錄結構
管理文件與block之間的關係，block與datanode之間關係

datanode負責：
存儲文件
在本地文件系統存儲文件塊數據，以及塊數據的校驗和
文件被分紅block存儲在磁盤上
爲保證數據安全，文件會有多個副本

secondary  namenode(2nn)：用於監控HDFS狀態的輔助後臺程序，每隔一段時間獲取和hdfs元數據的快照。

YARN架構：
1）ResourceManager（RM）主要做用以下：
（1）處理客戶端請求
（2）監控NodeManager
（3）啓動或監控ApplicationMaster

2）NodeManager（nm）主要做用以下：
（1）管理單個節點上的資源
（2）處理來自ResourceManager的命令
（3）處理來自ApplicationMaster的命令

3）ApplicationMaster（AM）做用：
（1）輔助數據的切分
（2）爲應用程序申請資源並分配給內部的任務
（3）任務的監控與容錯

4）Container
Container是YARN中的資源抽象，它封裝了某個節點上的多維度資源，如內存、CPU、磁盤、網絡等。

問題：怎麼解決海量數據的計算

Mapreduce架構：
兩個程序：
Map：局部並行處理輸入數據
reduce：彙總局部處理的結果，再統計全局

hadoop1.x和hadoop2.x版本的區別：

安裝部署，運維、開發、測試

HDFS三大核心：HDFS、MapReduce、YARN
四個模塊：
hadoop  common：爲其餘hadoop模塊提供基礎設施
hadoop  dfs：一個高可靠、高吞吐量的分佈式文件系統
hadoop mapreduce：一個分佈式的離線並行計算框架
hadoop yarn：一個新的mapreduce框架，任務調度和資源管理

hadoop安裝:

Hadoop三種安裝模式

1.Hadoop單機模式
單機模式是Hadoop默認的安裝模式，這種安裝模式主要就是並不配置更多的配置文件，只是保守的去設置默認的幾個配置文件中的初始化參數，它並不與其餘節點進行交互，而且也不使用HDFS文件系統，它主要就是爲了調試MapReduce程序而生。

2.Hadoop僞分佈式安裝模式
Hadoop僞分佈式安裝，須要配置5個常規的配置文件（XML），而且這裏涉及到了NameNode和DataNode節點交互問題，並且NameNode和DataNode在同一個節點上，還須要配置互信。其實從嚴格意義上來說，僞分佈式集羣，就已經能夠稱之爲真正意義上的集羣了，並且這裏也包含了hdfs和MapReduce全部組件，只不過就是全部組件在同一個節點上而已。

3.Hadoop徹底分佈式安裝模式
Hadoop徹底分佈式集羣主要分爲：常規Hadoop徹底分佈式集羣和Hadoop HA集羣（這裏主要針對的是NameNode個數和NameNode的高可用保障機制而言）。由此可知較僞分佈式集羣而言，徹底分佈式集羣，全部處理節點並不在同一個節點上，而是在多個節點上。

搭建一個僞分佈式集羣

1、環境搭建

一、系統環境
平臺：VMware Workstation 14
系統：centos  7.4

二、修改主機名：
hostnamectl  set-hostname  hadoop

useradd   hadoop
passwd hadoop

visodu
hadoop    ALL=(ALL)   ALL

注：改完主機名後，須要exit退出，從新啓動。

三、修改/etc/hosts域名解析配置文件
vi   /etc/hosts

192.168.80.100   hadoop

四、關閉防火牆和selinux
systemctl disable  firewalld
systemctl  stop firewalld
setenforce  0
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config  

五、安裝時間同步
yum -y install ntpdate 

ntpdate time1.aliyun.com

六、安裝Java環境
1）解壓Java壓縮包
tar -xf jdk-8u11-linux-x64.tar.gz  -C /opt
cp -rf jdk1.8.0_11/   /usr/local/java

2）配置Java環境變量
vi /etc/profile
末尾新增：
export JAVA_HOME=/usr/local/java
export JRE_HOME=/usr/local/java/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

3）生效環境變量
source  /etc/profile

4）驗證
java  -version

出現如下提示，表明java環境部署成功：
java version "1.8.0_11"
Java(TM) SE Runtime Environment (build 1.8.0_11-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.11-b03, mixed mode)

2、hadoop正式部署安裝
官方文檔：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation

下載地址：http://archive.apache.org/dist/hadoop/core/hadoop-3.1.0/hadoop-3.1.0.tar.gz

一、解壓hadoop軟件包
tar xf hadoop-3.1.0.tar.gz  

二、重命名
mv hadoop-3.1.0/ /home/hadoop/hadoop

三、配置環境變量
vi  /etc/profile
export HADOOP_HOME=/home/hadoop/hadoop
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
export HADOOP_COMMON_LIB_NATIVE_DIR=/home/hadoop/hadoop/lib/native
export HADOOP_OPTS="-Djava.library.path=/home/hadoop/hadoop/lib"
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

#hadoop-3.1.0必須添加以下5個變量不然啓動報錯，hadoop-2.x貌似不須要
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

四、生效環境變量
source /etc/profile

五、測試是否配置成功
hadoop version

出現如下信息，表明配置成功：
Hadoop 3.1.0
Source code repository https://github.com/apache/hadoop -r 16b70619a24cdcf5d3b0fcf4b58ca77238ccbe6d
Compiled by centos on 2018-03-30T00:00Z
Compiled with protoc 2.5.0
From source with checksum 14182d20c972b3e2105580a1ad6990
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-3.1.0.jar

七、hadoop目錄認識
修改配置文件以前，先看一下hadoop下的目錄：
bin：hadoop最基本的管理腳本和使用腳本所在目錄，這些腳本是sbin目錄下管理腳本的基礎實現，用戶能夠直接使用這些腳本管理和使用hadoop
etc：配置文件存放的目錄，包括core-site.xml,hdfs-site.xml,mapred-site.xml等從hadoop1.x繼承而來的配置文件和yarn-site.xml等hadoop2.x新增的配置文件
include：對外提供的編程庫頭文件（具體動態庫和靜態庫在lib目錄中，這些頭文件軍事用c++定義的，一般用於c++程序訪問hdfs或者編寫mapreduce程序）
Lib：該目錄包含了hadoop對外提供的才變成動態庫和靜態庫，與include目錄中的頭文件結合使用
libexec：各個服務對應的shell配置文件所在目錄，可用於配置日誌輸出目錄、啓動參數等信息
sbin：hadoop管理腳本所在目錄，主要包含hdfs和yarn中各種服務的啓動、關閉腳本
share：hadoop各個模塊編譯後的jar包所在目錄。

cd  /home/hadoop/hadoop/etc/hadoop     #此目錄是存放配置文件的

vi hadoop-env.sh     #hadoop的變量設置腳本
#hadoop-3.1.0是第54行,hadoop-2.7.7是第25行

export JAVA_HOME=/usr/local/java

測試:
mkdir  /home/input

hadoop  jar /home/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar  wordcount  /home/input  /home/output

hdfs  dfs -ls /

cd /home/hadoop/hadoop/etc/hadoop/

vi  core-site.xml   #hadoopg公共文件，全局配置文件
添加如下幾行：
<configuration>
    <!--指定HADOOP所使用的文件系統schema（URI），HDFS的老大（NameNode）的地址-->
<property>
        <name>fs.defaultFS</name>   
        <value>hdfs://hadoop:9000</value>  
    </property>
        <!--指定HADOOP運行時產生文件的存儲目錄-->
    <property>
        <name>hadoop.tmp.dir</name>    #指定臨時數據存儲目錄
        <value>/home/hadoop/hadoop/tmp</value>    #系統路徑
    </property>    
</configuration>

注意：在hadoop安裝目錄的文檔中有全部配置文件的默認參數表，用戶能夠查看後，根據實際狀況進行修改。
uri是使用本身的協議以及本身的地址端口

/usr/local/hadoop/share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.html文檔中能夠看到：
hadoop.tmp.dir的默認值是/tmp/hadoop-${user.name}。/tmp/是Linux系統的臨時目錄，若是咱們不從新指定的話，默認Hadoop工做目錄在Linux的臨時目錄，一旦Linux系統重啓，全部文件將會清空，包括元數據等信息都丟失了，須要從新進行格式化，很是麻煩。

vi  hdfs-site.xml    #hdfs站點配置文件
添加如下幾行：
<configuration>
    <!--指定HDFS副本的數量-->
    <property>
        <name>dfs.replication</name>   #指定hdfs的副本數
        <value>1</value>   #指定副本數量
    </property>
<!--設置默認端口，若是不加上會致使啓動hadoop-3.1.0後沒法訪問50070端口查看HDFS管理界面，hadoop-2.x能夠不加-->
    <property> 
        <name>dfs.http.address</name> 
        <value>192.168.80.100:50070</value> 
    </property>
</configuration>
注：
hdfs-default.xml文檔中能夠看到：
dfs.replication的默認值是3，因爲HDFS的副本數不能大於DataNode數，而咱們此時安裝的hadoop中只有一個DataNode，因此將dfs.replication值改成1。
dfs.namenode.http-address在hadoop-3.1.0版本上的默認值是?0.0.0.0:9870 ，在hadoop-2.7.7版本上的默認值是0.0.0.0:50070，因此不一樣版本能夠經過不一樣端口訪問NameNode。

cp mapred-site.xml.templete mapred-site.xml #重命名，hadoop-3.1.0系統中就是mapred-site.xml不須要更名，hadoop-2.x須要更名

vi mapred-site.xml #添加以下幾行，指定hadoop運行在哪一種計算框架上，這裏指定yarn框架。
<!--指定mr運行在yarn上-->
<property>
　　<name>mapreduce.framework.name</name>   #指定MapReduce程序放在哪一個服務上去啓用
　　<value>yarn</value>
</property>

vi yarn-env.xml    #2.x版本須要更改jdk路徑
export JAVA_HOME = 

vi yarn-site.xml #添加以下幾行
<configuration>
    <!-- 指定YARN集羣的老大（ResourceManager）的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop</value>
    </property>
    <!-- 指定reducer獲取數據的方式-->
    <property>
        <name>yarn.nodemanager.aux-services</name>   #
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

八、免密碼交互
ssh-keygen -t rsa    #生成ssh密鑰對
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): #直接回車
Enter passphrase (empty for no passphrase): #直接回車
Enter same passphrase again: #直接回車
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:9NevFFklAS5HaUGJtVrfAlbYk82bStTwPvHIWY7as38 root@hadoop
The key's randomart image is:
+---[RSA 2048]----+
|                               |
|                               |
|                               |
|     .                         |
|    . o S =                |
|     ..O * =               |
|     =X.%.E . .        |
|    *+=%oBo+.o    |
|   o=B+o++o.oo.  |
+----[SHA256]-----+

cd /root/.ssh/
ls 
id_rsa  id_rsa.pub  known_hosts

注：
#id_rsa爲私鑰，id_rsa.pub爲公鑰

由於搭建的是hadoop僞分佈式，因此namenode與datanode都在一個節點上。
cp id_rsa.pub authorized_keys #使主機之間能夠免密碼登陸

ssh hadoop date #查看（不須要輸入密碼，直接輸出結果，說明免密成功）

九、啓動hadoop集羣
1）首先格式化NameNode

注意：若是格式化NameNode以後運行過hadoop，而後又想再格式化一次NameNode，那麼須要先刪除第一次運行Hadoop後產生的VERSION文件，不然會出錯，詳情見第四部分問題4。

cd
[root@hadoop ~]# hdfs namenode -format #中間沒有報錯而且最後顯示以下信息表示格式化成功
...
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at hadoop/192.168.80.100
************************************************************/

格式化完成後，系統會在dfs.data.dir目錄下生成元數據信息。

name/current
data/current

bin/hdfs  namenode -format

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start   datanode
或者：
start-dfs.sh
start-yarn.sh

2）輸入 start-all.sh 啓動
start-all.sh
Starting namenodes on [hadoop]
上一次登陸：四 4月 18 23:06:27 CST 2019從 192.168.80.1pts/1 上
Starting datanodes
上一次登陸：四 4月 18 23:53:44 CST 2019pts/1 上
localhost: Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.
Starting secondary namenodes [hadoop]
上一次登陸：四 4月 18 23:53:46 CST 2019pts/1 上
2019-04-18 23:54:08,969 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting resourcemanager
上一次登陸：四 4月 18 23:54:03 CST 2019pts/1 上
Starting nodemanagers
上一次登陸：四 4月 18 23:54:10 CST 2019pts/1 上

3）執行 jps 驗證集羣是否啓動成功

 jps #顯示如下幾個進程說明啓動成功
96662 Jps
95273 DataNode #無關緊要
95465 SecondaryNameNode #重要
95144 NameNode #重要
95900 NodeManager #無關緊要
95775 ResourceManager #很是重要

4）登陸HDFS管理界面（NameNode）：http://ip:50070

5）登陸MR管理界面： http://ip:8088

使用：
上傳文件到hdfs中：
hadoop  fs  -put  aa    hdfs://192.168.80.100:9000/
注：aa是要上傳的文件名

簡寫：
hadoop  fs -put  aa  /

從hdfs中下載文件：
hadoop  fs  -get hdfs://192.168.80.100:9000/aa

在hdfs中建立目錄：
hadoop  fs  -mkdir  hdfs://192.168.80.100:9000/word
也能夠簡寫：
hadoop  fs  -mkdir  /word

調用MapReduce程序：
hadoop  jar   hadoop-mapreduce-examples~   pi  5   5

注：
pi：主類，計算圓周率
5：參數，map的任務數量
5：每一個map的取樣數

hadoop  jar  hadoop-mapreduce-example~   word   /word/input   /word/output

hadoop  fs -ls  /word/output

hadoop fs  -cat   /word/output/part~

HDFS的實現思想：
一、hdfs是經過分佈式集羣來存儲文件
二、文件存儲到hdfs集羣中去的時候是被切分紅block的
三、文件的block存放在若干臺datanode節點上
四、hdfs文件系統中的文件與真實的block之間有映射關係，由namenode管理
五、每個block在集羣中會存儲多個副本，好處是能夠提升數據的可靠性，還能夠提升訪問的吞吐量

咱們能夠看到無論是啓動仍是關閉hadoop集羣，系統都會報以下錯誤：
 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

解決方式：先看看咱們安裝的hadoop是不是64位的
[root@hadoop hadoop]# file /usr/local/hadoop/lib/native/libhadoop.so.1.0.0  #出現如下信息表示咱們的hadoop是64位的
/usr/local/hadoop/lib/native/libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, BuildID[sha1]=8d84d1f56b8c218d2a33512179fabffbf237816a, not stripped

永久解決方式：
vi /usr/local/hadoop/etc/hadoop/log4j.properties #在文件末尾添加以下一句，保存退出
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=Error

配置說明

    JDK ：Hadoop和Spark 依賴的配置，官方建議JDK版本在1.7以上！！！
    Scala：Spark依賴的配置，建議版本不低於spark的版本。
    Hadoop: 是一個分佈式系統基礎架構。
    Spark: 分佈式存儲的大數據進行處理的工具。
    zookeeper:分佈式應用程序協調服務，HBase集羣須要。
    HBase: 一個結構化數據的分佈式存儲系統。
    Hive: 基於Hadoop的一個數據倉庫工具，目前的默認元數據庫是mysql。

配置歷史服務器
vi mapred-site.xml
<!-- 歷史服務器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop:10020</value>
</property>
<!-- 歷史服務器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop:19888</value>
<property>

啓動歷史服務器：
sbin/mr-jobhistory-daemon.sh start historyserver

查看歷史服務器是否啓動
jps

查看jobhistory：
192.168.80.100:19888

配置日誌彙集
日誌彙集：應用運行完成之後，將程序運行日誌信息上傳到HDFS系統上
好處：能夠方便的查看到程序運行詳情，方便開發調試

注：開啓日誌彙集功能，須要從新啓動NodeManager、ResourceManager和HistoryManager

步驟：

關閉全部
sbin/mr-jobhistory-daemon.sh  stop  historyserver
sbin/yarn-daemon.sh stop nodemanager
sbin/yarn-daemon.sh stop resourcemanager

jps

vi yarn-site.xml

<!-- 日誌彙集功能使能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 日誌保留時間設置7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
<property>

sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh  start  historyserver

測試：
hadoop  jar   hadoop-mapreduce-examples~   pi  5   5