宜信開源|大數據虛擬混算平臺Moonbox配置指南

1、環境準備

• 已安裝Apache Spark 2.2.0(此版本僅支持Apache Spark 2.2.0, 其餘Spark 版本後續會兼容)
• 已安裝MySQL並啓動,且開啓遠程訪問
• 各安裝節點已經配置ssh免密登陸

2、下載

moonbox-0.3.0-beta下載：https://github.com/edp963/moonbox/releases/tag/0.3.0-beta

3、解壓

tar -zxvf moonbox-assembly_2.11-0.3.0-beta-dist.tar.gz

4、修改配置文件

配置文件位於conf目錄下

step 1: 修改slaves

mv slaves.example slaves
  vim slaves

將會看到以下內容:

localhost

請根據實際狀況修改成須要部署worker節點的地址, 每行一個地址

step 2: 修改moonbox-env.sh

mv moonbox-env.sh.example moonbox-env.sh
  chmod u+x moonbox-env.sh
  vim moonbox-env.sh

將會看到以下內容:

export JAVA_HOME=path/to/installed/dir
  export SPARK_HOME=path/to/installed/dir
  export YARN_CONF_DIR=path/to/yarn/conf/dir
  export MOONBOX_SSH_OPTS="-p 22"
  export MOONBOX_HOME=path/to/installed/dir
  # export MOONBOX_LOCAL_HOSTNAME=localhost
  export MOONBOX_MASTER_HOST=localhost
  export MOONBOX_MASTER_PORT=2551

請根據實際狀況修改

step 3: 修改moonbox-defaults.conf

mv moonbox-defaults.conf.example moonbox-defaults.conf
  vim moonbox-defaults.conf

將會看到如下內容,其中:

• catalog

配置元數據存儲位置, 必須修改, 請根據實際狀況修改

• rest

配置rest服務, 按需修改

• tcp

配置tcp(jdbc)服務, 按需修改

• local

配置Spark Local模式做業, 值爲數組, 有多少個元素表示每一個Worker節點啓動多少個Spark Local模式做業。如不須要可刪除。

• cluster

配置Spark yarn模式做業, 值爲數組, 有多少個元素表示每一個Worker節點啓動多少個Spark Yarn模式做業。如不須要可刪除。

moonbox {
  deploy {
      catalog {
          implementation = "mysql"
          url = "jdbc:mysql://host:3306/moonbox?createDatabaseIfNotExist=true"
          user = "root"
          password = "123456"
          driver = "com.mysql.jdbc.Driver"
      }
      rest {
          enable = true
          port = 9099
          request.timeout = "600s"
          idle.timeout= "600s"
      }
      tcp {
          enable = true
          port = 10010
      }
  }
  mixcal {
      pushdown.enable = true
      column.permission.enable = true
      spark.sql.cbo.enabled = true
      spark.sql.constraintPropagation.enabled = false

      local = [{}]
      cluster = [{
        spark.hadoop.yarn.resourcemanager.hostname = "master"
        spark.hadoop.yarn.resourcemanager.address = "master:8032"
        spark.yarn.stagingDir = "hdfs://master:8020/tmp"
        spark.yarn.access.namenodes = "hdfs://master:8020"
        spark.loglevel = "ERROR"
        spark.cores.max = 2
        spark.yarn.am.memory = "512m"
        spark.yarn.am.cores = 1
        spark.executor.instances = 2
        spark.executor.cores = 1
        spark.executor.memory = "2g"
      }]
  }
  }

• optional: 若是HDFS 配置了高可用(HA)、或者HDFS 配置了kerberos、或者YARN 配置了高可用(HA)、或者YARN 配置了kerberos

將cluster元素中相關部分改成如下配置, 請根據實際狀況修改。具體值可查閱hdfs配置文件和yarn配置文件。

#### HDFS HA ####
  spark.hadoop.fs.defaultFS="hdfs://service_name"
  spark.hadoop.dfs.nameservices="service_name"
 spark.hadoop.dfs.ha.namenodes.service_name="xxx1,xxx2"
  spark.hadoop.dfs.namenode.rpc-address.abdt.xxx1="xxx1_host:8020"
  spark.hadoop.dfs.namenode.rpc-address.abdt.xxx2="xxx2_host:8020"
  spark.hadoop.dfs.client.failover.proxy.provider.abdt="org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"
  spark.yarn.stagingDir = "hdfs://service_name/tmp"

#### HDFS kerberos ####
  dfs.namenode.kerberos.principal = ""
  dfs.namenode.kerberos.keytab = ""

#### YARN HA ####
  spark.hadoop.yarn.resourcemanager.ha.enabled=true
  spark.hadoop.yarn.resourcemanager.ha.rm-ids="yyy1,yyy2"
 spark.hadoop.yarn.resourcemanager.hostname.rm1="yyy1_host"
  spark.hadoop.yarn.resourcemanager.hostname.rm2="yyy2_ho
st"

#### YARN kerberos ####
  spark.yarn.principal = ""
  spark.yarn.keytab = ""

5、分發安裝包

將MySQL Jdbc驅動包放置到libs和runtime目錄下, 而後將整個moonbox安裝目錄拷貝到全部安裝節點, 確保位置與主節點位置一致。

6、啓動集羣

在master節點執行

sbin/start-all.sh

7、中止集羣

在master節點執行

sbin/stop-all.sh

8、檢查集羣是否成功啓動

在master節點執行以下命令, 將會看到 MoonboxMaster 進程

jps | grep Moonbox

在worker節點執行以下命令, 將會看到 MoonboxWorker 進程

jps | grep Moonbox

在worker節點執行以下命令, 將會看到與配置文件對應個數的 SparkSubmit 進程

jps -m | grep Spark

使用moonbox-cluster命令查看集羣信息

bin/moonbox-cluster workers
   bin/moonbox-cluster apps

若是檢查經過, 則集羣啓動成功, 便可參閱examples部分開始體驗啦。 若是檢查失敗, 可經過查看master節點或者worker節點上logs目錄下的日誌進行問題排查。

開源地址：https://github.com/edp963/moonbox

拓展閱讀：數據虛擬化即服務（DVtaaS）平臺解決方案 - Moonbox 宜信開源|Moonbox_v0.3_beta重大發布 | Grid全新重構，更快更解耦

來源：宜信技術學院