爲JupyterHub自定義Notebook Images

JupyterHub已經成爲數據探索的最佳工具，並且能夠在Kubernetes中運行，提供託管的、可伸縮的數據分析環境。JupyterHub能夠爲每一個用戶建立獨立的運行環境，在單機環境下運行在不一樣的Anaconda環境（不能擴展），在Kubernetes中，是運行在Docker容器之中的，並且能夠擴展到多個節點。

Jupyter項目已經提供了一些Docker鏡像，能夠直接使用，也能夠自定義、編譯本身的容器鏡像。

一、選擇基礎鏡像

這裏我選擇 jupyter/all-spark-notebook:5811dcb711ba 爲基礎鏡像，是由jupyter官方發佈的。

• 容器鏡像源碼，https://github.com/jupyter/docker-stacks
• 容器鏡像倉庫，https://hub.docker.com/u/jupyter

二、編譯添加本身的軟件包

從新建立一個Dockerfile，而後添加本身的軟件包。

• 安裝的軟件包，包括：
  • based jupyter/all-spark-notebook
  • nodejs 8.10.0
  • bs四、lxml、ipyleaflet
  • py4j、pyspark
  • mlflow、airflow、tushare
  • jupyter labextension install jupyter-leaflet
• 完整的Dockerfile，參考
  • https://github.com/databooks/databook/tree/master/build-tools/docker-build
• 其它參考
  • Jupyter Docker Stacks on ReadTheDocs
  • Selecting an Image :: Core Stacks :: jupyter/all-spark-notebook
  • Image Specifics :: Apache Spark

編譯鏡像，運行：

docker build --build-arg "HTTP_PROXY=http://192.168.199.99:9999" -t openthings/databook .

其中，-t 指明鏡像的名稱，可使用--build-arg傳遞臨時參數到容器編譯過程當中，在使用時經過env獲取，如 ：

ENV HTTP_PROXY ${HTTP_PROXY}

三、配置到Kubernetes

使用docker images查看鏡像openthings/databook是否已經建立成功。

• 若是，是新安裝JupyterHub，進去values.yaml改一下鏡像的版本，而後運行helm安裝便可。
• 若是，已經安裝完了，能夠直接使用kubectl edit或者在Dashboard裏直接修改deployment的images參數。

四、與Kubeflow中的差別

Kubeflow也採用了JupyterHub/Lab的運行框架，可是啓動jupyternotebook的參數不一樣，所以兩者不能混合使用。但在Kubeflow中能夠採起相似的辦法使用KubeFlow的配置文件從新編譯容器鏡像，而後配置到Kubernetes集羣中使用。

• 參考資料：
  • JupyterHub on Kubernetes部署與應用指南，http://www.javashuo.com/article/p-pyxyvhcx-kb.html
  • Ubuntu上使用Repo2Docker，http://www.javashuo.com/article/p-qnfwvoww-hx.html
  • JupyterLab安裝地圖插件，http://www.javashuo.com/article/p-mshkvlrt-hs.html
  • Databook-數據之書，http://www.javashuo.com/article/p-zlqzthef-gp.html