spark jobserver初探

一）準備工做

在linux安裝sbt

curl https://bintray.com/sbt/rpm/rpm | sudo tee /etc/yum.repos.d/bintray-sbt-rpm.repo
sudo yum install sbt

spark-jobserver
根據spark版本下載

https://github.com/spark-jobserver/spark-jobserver/releases

示例下載的版本是0.6.2 https://github.com/spark-jobserver/spark-jobserver/archive/v0.6.2.tar.gz

示例下載的安裝位置：/data1/local/wqq/spark-jobserver_bak

二）部署

接下來介紹spark-jobserver

spark-jobserver_bak下目錄結構以下：

步驟1：

拷貝config/local.sh.template文件爲local.sh，參考命令：cp config/local.sh.template config/local.sh

步驟2:

配置local.sh文件，下面是對文件內容的重要說明。

注意：若是是使用打包命令（server_package.sh）僅僅須要配置spark的相關配置

# Environment and deploy file
# For use with bin/server_deploy, bin/server_package etc.
DEPLOY_HOSTS="10.207.26.250" #使用server_deploy.sh命令部署遠程的機器ip或者host,使用server_package.sh命令不用配置

APP_USER=root #部署遠程的機器使用用戶,使用server_package.sh命令不用配置
APP_GROUP=root#部署遠程的機器使用用戶所屬組,使用server_package.sh命令不用配置

# optional SSH Key to login to deploy server
#SSH_KEY=/path/to/keyfile.pem

INSTALL_DIR=/data1/local/spark-jobserver #遠程機器安裝路徑，使用server_package.sh命令不用配置
LOG_DIR=/data1/local/spark-jobserver/logs #job進程日誌位置
PIDFILE=spark-jobserver.pid #job進程的pid文件名稱
JOBSERVER_MEMORY=1G #job進程內存大小

#如下是spark的相關配置 start

SPARK_VERSION=1.6.0
MAX_DIRECT_MEMORY=512M
SPARK_HOME=/data1/local/spark-1.6.1-bin-hadoop2.3
SPARK_CONF_DIR=$SPARK_HOME/conf

#spark的相關配置 end

# Only needed for Mesos deploys
SPARK_EXECUTOR_URI=/home/spark/spark-1.6.0.tar.gz
# Only needed for YARN running outside of the cluster
# You will need to COPY these files from your cluster to the remote machine
# Normally these are kept on the cluster in /etc/hadoop/conf
# YARN_CONF_DIR=/pathToRemoteConf/conf
# HADOOP_CONF_DIR=/pathToRemoteConf/conf
#
# Also optional: extra JVM args for spark-submit
# export SPARK_SUBMIT_OPTS+="-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5433"
SCALA_VERSION=2.10.4 # or 2.11.6

步驟3：

打包或者遠程部署

打包使用bin/server_package.sh local；遠程部署使用bin/server_deploy.sh local（註釋：若是執行報錯，提醒你找不到local.sh文件，你能夠根據錯誤提示信息把local.sh文件拷貝到相應的路徑下）

執行命令後，sbt會下載相關jar包，時間較長。

打包命令過程：

上圖中的紅色圈出的路徑就是打包放置的路徑。打包成功後，須要使用tar命令解壓到須要安裝機器的目錄下，示例安裝的路徑是/data1/local/spark-jobserver

遠程部署命令過程：

須要輸入root密碼。執行命令後，就能夠在遠程機器的相應目錄中看到，示例local.sh配置的位置是/data1/local/spark-jobserver

步驟4：

啓動

在/data1/local/spark-jobserver目錄下的結構以下：

須要查看一下local.conf和settings.sh二個文件的配置是否有問題，沒有問題就能夠使用server_start.sh啓動jobserver
啓動後會spark-jobserver.pid這個文件，查看裏面的內容就是進程的id號。

正確啓動後就能夠經過瀏覽器訪問該主機的8090端口，例如：10.207.26.250:8090。

參考文檔&項目地址

https://github.com/spark-jobserver/spark-jobserver