Spark 2.7.3 VMware Ubuntu 16.04 虛擬機搭建

時間 2019-12-15

標籤 spark 2.7.3 vmware ubuntu 16.04 虛擬機搭建欄目 Spark 简体版

原文原文鏈接

Spark 2.7.3 配置教程

在 root 用戶下操做

ubunut中用到的文件及位置

/home
    /hadoop
        /hadoop-2.7.3
    /java
        /java1.8.0_112
    /scala
        /scala-2.12.1
    /spark
        /spark-2.1.0-bin-hadoop2.7

環境搭建

虛擬機網絡設置

在windows下打開網絡和共享中心中設置 VMware Network Adapter VMnet1 的IPv4

item	value
IP 地址	192.168.32.10
子網掩碼	255.255.255.0
默認網關	192.168.32.1

Linux網絡設置

Linux 的 IP 與虛擬機的 IP 在同一網段便可。即：IP 的最後一部分不一樣便可java

修改主機名node
1. 編輯文件vim /etc/hostname，進入後，刪除原有內容，改成新名字
2. 修改映射vim /etc/hosts，加入相似語句shell
```
IP                  主機名
    192.163.32.110      hadoop1
```
關閉防火牆vim
```
ufw disable
```
免密碼登錄

生成公鑰和私鑰windows

ssh-keygen

出現提示，一路enter

mv id_rsa.pub authorized_keys

Hadoop 搭建

配置 Java 和 Hadoop

進入 root 目錄，修改文件
        cd
        vim .bashrc
    加入
        # Java setting
        export JAVA_HOME=/home/java/jdk1.8.0_112

        # Hadoop setting
        export  HADOOP_HOME=/home/hadoop/hadoop-2.7.3

        # PATH setting
        export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH
    使其生效 
        source .bashrc

    cd /home/hadoop/hadoop-2.7.3/etc/hadoop
    vim hadoop-env.sh    在其中顯示指明 JAVA_HOME 的地址
    vim core-site.xml    複製官網(配置機器名)

HDFS

cd /home/hadoop/hadoop-2.7.3/etc/hadoop
    vim hdfs-site.xml   複製官網（配置副本數，默認爲1）

HDFS 是文件系統，啓動前要進行格式化bash

格式化
        hdfs namenode -format
    啓動 HDFS 
        start-dfs.sh

    基本操做
        顯示目錄
            hadoop fs -ls / 
        建立 test 文件夾
            hadoop fs -mkdir /test

YARN

cd /home/hadoop/hadoop-2.7.3/etc/hadoop
    cp -i mapred-site.xml.example mapred-site.xml
    vim mapred-site.xml     複製官網內容
    vim yarn-site.xml       複製官網內容

Spark 搭建

配置文件
        cd 
        vim .bashrc
    添加
        # Scala setting
        export SCALA_HOME=/home/scala/scala-2.12.1

        # Spark setting
        export SPARK_HOME=/home/spark/spark-2.1.0-bin-hadoop2.7
    修改 PATH 爲
        export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
    使其生效
        source .bashrc

    配置文件
        cd /home/spark/spark-2.1.0-bin-hadoop2.7/conf
        cp -i spark-env.sh.template spark-env.sh
        vim spark-env.sh
    添加
        export SPARK_MASTER_IP=hadoop1
        export SPARK_MASTER_PORT=7077
        export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.7.3/etc/hadoop
        export SPARK_WORKER_CORES=2
        # 85% total memory
        export SPARK_WORKER_MEMORY=1g
        

    啓動
        cd /home/spark/spark-2.1.0-bin-hadoop2.7/sbin
        start-all.sh

    頁面瀏覽地址
        192.168.32.110:8080

    進入 Spark-shell
        spark-shell

最終的配置文件

配置文件--.bashrc
        cd 
        vim .bashrc

        添加
            # Java setting
            export JAVA_HOME=/home/java/jdk1.8.0_112

            # Hadoop setting
            export  HADOOP_HOME=/home/hadoop/hadoop-2.7.3

            # PATH setting
            export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH

            # Scala setting
            export SCALA_HOME=/home/scala/scala-2.12.1

            # Spark setting
            export SPARK_HOME=/home/spark/spark-2.1.0-bin-hadoop2.7

            export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

    使其生效 
        source .bashrc

    配置文件--hadoop  
        cd /home/hadoop/hadoop-2.7.3/etc/hadoop

        vim hadoop-env.sh    在其中顯示指明 JAVA_HOME 的地址

        vim core-site.xml    複製官網配(置機器名)
            <configuration>
                <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://機器名:9000</value>
                </property>
            </configuration>

    配置文件--HDFS
        cd /home/hadoop/hadoop-2.7.3/etc/hadoop
        vim hdfs-site.xml   複製官網（配置副本數，默認爲1）
            <configuration>
                <property>
                    <name>dfs.replication</name>
                    <value>1</value>
                </property>
            </configuration>

    配置文件--YARN
        cd /home/hadoop/hadoop-2.7.3/etc/hadoop

        cp -i mapred-site.xml.example mapred-site.xml
        vim mapred-site.xml     複製官網內容
            <configuration>
                <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
                </property>
            </configuration>

        vim yarn-site.xml       複製官網內容
            <configuration>
                <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
                </property>
            </configuration>

    配置文件--Spark
        cd /home/spark/spark-2.1.0-bin-hadoop2.7/conf
        cp -i spark-env.sh.template spark-env.sh
        vim spark-env.sh
        添加
            export SPARK_MASTER_IP=hadoop1
            export SPARK_MASTER_PORT=7077
            export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.7.3/etc/hadoop
            export SPARK_WORKER_CORES=2
            # 85% total memory
            export SPARK_WORKER_MEMORY=1g

Ubuntu 經常使用命令

重啓網絡網絡
```
service network-manager restart
```
配置 IP 子網掩碼網關ssh
```
vim  /etc/network/interfaces
```
在Xshell中登錄VMware中的Ubuntuoop
- 1. 安裝 ssh apt-get install ssh
- 1. 修改 root 密碼 passwd root
- 1. 配置文件，容許以 root 用戶經過 ssh 登錄
```
vim  /etc/ssh/ssh_config
    將 PermitRootLogin  prohibit-password
    改成 PermitRootLogin yes
    重啓 ssh 服務:    service ssh restart
```
複製文件，並重命名spa
```
cp -i 文件名  新文件名
```
一直使用root
```
sudo -s
```