Hadoop學習筆記(1)-Hadoop在Ubuntu的安裝和使用

因爲小編在本學期有一門課程須要學習hadoop,須要在ubuntu的linux系統下搭建Hadoop環境，在這個過程當中遇到一些問題，寫下這篇博客來記錄這個過程，並把分享給你們。

Hadoop的安裝方式

• 單機模式:Hadoop默認模式爲非分佈式模式(本地模式)，無需 進行其餘配置便可運行。非分佈式即單 Java 進程，方便進行調試
• 僞分佈式模式:Hadoop能夠在單節點上以僞分佈式的方式運行， Hadoop 進程以分離的 Java 進程來運行，節點既做爲 NameNode 也 做爲 DataNode，同時，讀取的是 HDFS 中的文件
• 分佈式模式:使用多個節點構成集羣環境來運行Hadoop

建立Hadoop用戶(可選)

若是安裝 Ubuntu 的時候不是用的 「hadoop」 用戶，那麼須要增長一個名爲hadoop 的用戶，首先按打開終端窗口，輸入以下命令建立新用戶 :

sudo useradd –m hadoop –s /bin/bash

上面這條命令建立了能夠登錄的 hadoop 用戶，並使用 /bin/bash 做爲 shell 接着使用以下命令設置密碼，可簡單設置爲 hadoop，按提示輸入兩次密碼:

sudo passwd hadoop

可爲 hadoop 用戶增長管理員權限，方便部署，避免一些對新手來講比較棘 手的權限問題:

sudo adduser hadoop sudo

SSH登陸權限設置

SSH是什麼?

SSH 爲 Secure Shell 的縮寫，是創建在應用層和傳輸層基礎上的安全協議。 SSH 是目前較可靠、專爲遠程登陸會話和其餘網絡服務提供安全性的協議。 利用 SSH 協議能夠有效防止遠程管理過程當中的信息泄露問題。SSH最初是 UNIX系統上的一個程序，後來又迅速擴展到其餘操做平臺。 SSH是由客 戶端和服務端的軟件組成，服務端是一個守護進程(daemon)，它在後臺運 行並響應來自客戶端的鏈接請求，客戶端包含ssh程序以及像scp(遠程拷 貝)、slogin(遠程登錄)、sftp(安全文件傳輸)等其餘的應用程序.

配置SSH的緣由

Hadoop名稱節點(NameNode)須要啓動集羣中全部機器的Hadoop守護進程，這個過 程須要經過SSH登陸來實現。Hadoop並無提供SSH輸入密碼登陸的形式，所以，爲 了可以順利登陸每臺機器，須要將全部機器配置爲名稱節點能夠無密碼登陸它們。

配置SSH的無密碼登陸

安裝openssh-server( 一般Linux系統會默認安裝openssh的客戶端軟件openssh-client)，因此須要本身安裝一下服務端。

sudo apt-get install openssh-server

輸入 cd .ssh目錄下，若是沒有.ssh文件 輸入 ssh localhost生成。

cd ~/.ssh/

生成祕鑰

ssh-keygen -t rsa

將Master中生成的密鑰加入受權（authorized_keys）

cat id_rsa.pub                     # 查看生成的公鑰

cat id_rsa.pub >> authorized_keys    # 加入受權
chmod 600 authorized_keys    # 修改文件權限，若是不修改文件權限，那麼其它用戶就能查看該受權

完成後，直接鍵入「ssh localhost」，能無密碼登陸便可，

鍵入「exit」退出，到此SSH無密碼登陸配置就成功了。

安裝Java環境

scp命令傳輸Mac的文件到ubuntu

由於老師給了咱們的java的jdk安裝包，想着不用去ubuntu從新下載，因此就想到了利用scp命令傳輸Mac的文件到ubuntu，利用這個命令前提是Ubuntu安裝了SSH服務器，在以前咱們已經有了這步操做。

利用ifconfig查看ubuntu服務器的局域網IP地址

如下是利用scp命令傳輸文件的基本格式：
1. 本地文件傳輸到服務器

從本地將文件傳輸到服務器	從本地將文件夾傳輸到服務器
scp[本地文件的路徑] [服務器用戶名]@[服務器地址]:[服務器上存放文件的路徑]	scp -r[本地文件的路徑] [服務器用戶名]@[服務器地址]:[服務器上存放文件的路徑]
scp /Users/mac/Desktop/test.txt root@192.168.1.1:/root	scp -r /Users/mac/Desktop/test root@192.168.1.1:/root

2. 服務器文件傳輸到本地

將服務器上的文件傳輸到本地	將服務器上的文件夾傳輸到本地
scp [服務器用戶名]@[服務器地址]:[服務器上存放文件的路徑] [本地文件的路徑]	scp -r [服務器用戶名]@[服務器地址]:[服務器上存放文件的路徑] [本地文件的路徑]
scp root@192.168.1.1:/root/default/test.txt /Users/mac/Desktop	scp -r root@192.168.1.1:/root/default/test /Users/mac/Desktop

mac客戶端執行傳輸命令

在選擇Linux服務器端的儲存文件地址時，因爲權限緣由，默認的是在/tmp有權限，能夠先把文件放到tmp文件目錄下，而後在進行mv 或者scp到其餘目錄，便可。

scp /Users/xjh/Desktop/jdk-8u221-linux-x64.tar.gz hadoop@172.16.186.128:/tmp

傳輸速度仍是蠻快的，以下圖：

在Ubuntu將jdk移動到咱們新建的java目錄下（沒建的新建一個就是），到此傳輸文件成功，能夠開始配置Java環境了。

sudo mv /tmp/jdk-8u221-linux-x64.tar.gz usr/java

在java目錄中，使用sudo tar命令解壓jdk文件;

解壓成功後，java目錄中會有對應的目錄文件存在

配置Java環境

使用命令「sudo gedit ~/.bashrc」打開配置文件，在末尾添加如下幾行文字，注意本身的jdk版本號。

#set java env
export JAVA_HOME=/usr/lib/jdk/jdk1.8.0_221
export JRE_HOME=${JAVA_HOME}/jre    
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib    
export PATH=${JAVA_HOME}/bin:$PATH

使用命令「source ~/.bashrc」使環境變量生效。

source ~/.bashrc

配置軟鏈接，軟鏈接至關於windows系統中的快捷鍵，部分軟件可能會從/usr/bin目錄下查找Java，所以添加該軟鏈接防止其餘軟件查找不到的狀況。

sudo update-alternatives --install /usr/bin/java  java  /usr/java/jdk1.8.0_221/bin/java 300

sudo update-alternatives --install /usr/bin/javac  javac  /usr/java/jdk1.8.0_221/bin/javac 300

測試java是否安裝成功

Hadoop單機安裝配置

將咱們下載的Hadoop解壓到 /usr/local/ 中

sudo tar zxvf tmp/hadoop-3.2.1.tar.gz -C /usr/local

利用cd /usr/local/ 命令切換操做空間，將文件夾名改成hadoop

sudo mv ./hadoop-3.2.1/ ./hadoop

修改文件權限

sudo chown -R hadoop:hadoop ./hadoop

Hadoop 解壓後，在Hadoop目錄下的etc/hadoop/hadoop-env.sh文件中添加以下的 Java環境信息。

export JAVA_HOME=/usr/java/jdk1.8.0_221

而後，保存hadoop-env.sh文件，即完成單機模式的Hadoop基本安裝。測試Hadoop是否安裝成功，如出現以下圖所示的版本信息，便可。

默認狀況下，單機模式的Hadoop以Java進程的方式運行，可依次運行以下命令進行進一步測試。

sudo mkdir input
sudo cp etc/hadoop/*.xml input

執行下列命令，運行MapReduce程序，完成測試計算。

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'dfs[a-z.]+'

執行下列命令，查看計算結果。

cat output/*

Hadoop目錄下，會有input和output兩個新建的文件，output中有上述程序 的運算結果，到此Hadoop單機安裝配置成功。

Hadoop僞分佈式安裝配置

• Hadoop能夠在單節點上以僞分佈式的方式運行，Hadoop進程以分 離的 Java 進程來運行，節點既做爲 NameNode 也做爲 DataNode， 同時，讀取的是 HDFS 中的文件
• Hadoop的配置文件位於/usr/local/hadoop/etc/hadoop/中，僞分佈式 須要修改2個配置文件 core-site.xml 和 hdfs-site.xml
• Hadoop的配置文件是xml格式，每一個配置以聲明property的name 和 value 的方式來實現

hadoop目錄認識

hadoop下的目錄

修改配置文件以前，先看一下hadoop下的目錄：

• bin：hadoop最基本的管理腳本和使用腳本所在目錄，這些腳本是sbin目錄下管理腳本的基礎實現，用戶能夠直接使用這些腳本管理和使用hadoop
• etc：配置文件存放的目錄，包括core-site.xml,hdfs-site.xml,mapred-site.xml等從hadoop1.x繼承而來的配置文件和yarn-site.xml等hadoop2.x新增的配置文件
• include：對外提供的編程庫頭文件（具體動態庫和靜態庫在lib目錄中，這些頭文件軍事用c++定義的，一般用於c++程序訪問hdfs或者編寫mapreduce程序）
• Lib：該目錄包含了hadoop對外提供的才變成動態庫和靜態庫，與include目錄中的頭文件結合使用
• libexec：各個服務對應的shell配置文件所在目錄，可用於配置日誌輸出目錄、啓動參數等信息
• sbin：hadoop管理腳本所在目錄，主要包含hdfs和yarn中各種服務的啓動、關閉腳本
• share：hadoop各個模塊編譯後的jar包所在目錄。

修改配置文件 core-site.xml

<configuration> 
   <property>
        <name>hadoop.tmp.dir</name> 
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property> 
   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://localhost:9000</value> 
    </property>
</configuration>

• hadoop.tmp.dir表示存放臨時數據的目錄，即包括NameNode的數據，也包 括DataNode的數據。該路徑任意指定，只要實際存在該文件夾便可
• name爲fs.defaultFS的值，表示hdfs路徑的邏輯名稱

修改配置文件 hdfs-site.xml

<configuration> 
   <property>
       <name>dfs.replication</name>
       <value>1</value> 
   </property> 
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>file:/usr/local/hadoop/tmp/dfs/name</value> 
    </property>
   <property>
       <name>dfs.datanode.data.dir</name>         
       <value>file:/usr/local/hadoop/tmp/dfs/data</value>
   </property>
</configuration>

• dfs.replication表示副本的數量，僞分佈式要設置爲1
• dfs.namenode.name.dir表示本地磁盤目錄，是存儲fsimage文件的地方
• dfs.datanode.data.dir表示本地磁盤目錄，HDFS數據存放block的地方

文件名稱	格式	描述
hadoop-env.sh	Bash腳本	記錄配置Hadoop運行所需的環境變量，以運行 Hadoop
core-site.xml	Hadoop配置XML	Hadoop core的配置項，例如HDFS和MapReduce 經常使用的I/O設置等
hdfs-site.xml	Hadoop配置XML	Hadoop的守護進程的配置項，包括NameNode、 SecondaryNameNode和DataNode等
mapred-site.xml	Hadoop配置XML	MapReduce守護進程的配置項，包括JobTracker 和TaskTracker
masters	純文本	運行SecondaryNameNode的機器列表(每行一 個)
slaves		純文本	運行DataNode和TaskTracker的機器列表(每行 一個)
hadoop- metrics.properties	Java屬性	控制metrics在Hadoop上如何發佈的屬性

至此，配置完畢，可是還不能啓動，要對hdfs先進行格式化。相似之前的軟盤，使用前要先格式化,執行命令：

sudo ./bin/hdfs namenode -format

看到日誌信息：即格式化成功。

在咱們name目錄(這個目錄是咱們本身配置的時候指定的)下也會出現映像文件（fsimage），用於將數據持久化 。

啓動Hadoop

輸入如下命令啓動Hadoop：

sbin/start-dfs.sh

安裝jps

sudo apt install openjdk-11-jdk-headless

安裝好以後jps檢查角色若是有多個角色，就啓動成功。

瀏覽器訪問localhost:9870

本次給你們分享的內容就到這裏啦，以爲還不錯的點個贊支持一下小編，你的確定就是小編前進的動力。另外若是想了解更多計算機專業的知識和技巧的，獻上個人我的博客北徯，另外須要各類資料的童鞋，能夠關注個人微信公衆號北徯，免費的PPT模板，各類資料等你來領。