JupyterHub on Kubernetes部署與應用指南

JupyterHub on Kubernetes部署與應用指南

一、簡介

Jupyter Notebook是用於科學數據分析的利器，JupyterHub能夠在服務器環境下爲多個用戶託管Jupyter運行環境，JupyterLab是一個新的數據分析UI界面。

Jupyter和JupyterHub都支持conda和Anaconda運行環境管理工具。JupyterHub能夠支持Kubernetes集羣環境下的運行，並且如今能夠經過Helm包管理工具進行部署。

二、快速安裝

• 參考配置和一些腳本工具在 github.com/openthings/kubernetes-tools/jupyter 。
• 下面的helm安裝方法中，helm .... -f config.yaml會出錯，報缺失參數錯誤。
  • 直接複製Helm Chart到本身的目錄，而後修改。
• 修改proxy:secretToken:爲執行 openssl rand -hex 32產生的字符串，帶引號。
• 在values.yaml文件中，搜索「storageClass」，有兩處，改成"nfs"或其它的存儲引擎。
  • 修改singleuser:storage:capacity:爲 1Gi，以避免=耗用資源過多。
  • 若是須要持久化，參考：Kubernetes搭建NFS原生服務 。
• 全部的image的tag改成具體的版本號。目前安裝時自動替換佔位符功能不可用。
  • 參考：github.com/openthings/kubernetes-tools/jupyter/getimages.sh
  • 最好使用上面的腳本事先下載，以避免安裝時等待時間過長或超時退出。
• 修改proxy:service: type:爲 NodePort。
• 運行安裝：
  • helm install ./jupyterhub --version=v0.6 --name=jupyter --namespace=jupyter
• 運行 kubectl --namespace=jupyter get svc proxy-public，查看端口。
  • 顯示相似PORT(S)80:32600/TCP，瀏覽器打開 localhost:32600便可。

快速獨立測試Jupyter容器鏡像：

docker run --rm -p 10000:8888 -e JUPYTER_LAB_ENABLE=yes -v "$PWD":/home/jovyan/work jupyter/datascience-notebook:e5c5a7d3e52d

• 授予帳號和訪問根權限，加參數：--user root -e GRANT_SUDO=yes
• 更多參數：https://jupyter-docker-stacks.readthedocs.io/en/latest/using/common.html

三、詳細安裝步驟

• JupyterHub on Kubernetes-- Helm Chart簡介
• JupyterHub on Kubernetes-Helm安裝
• JupyterHub on Kubernetes--項目簡介
• JupyterHub on Kubernetes--部署指南
• JupyterHub on Kubernetes--定製用戶環境
• JupyterHub on Kubernetes-容器存儲

四、Jupyter參考資料

• JupyterHub官方文檔，JupyterHub documentation
• JupyterHub開發源碼，JupyterHub development repository
• JupyterHub Helm項目，JupyterHub Helm Chart development repository
• JupyterLab，http://jupyterlab.readthedocs.io/en/stable/index.html
• Jupyterlab-hub，https://github.com/jupyterhub/jupyterlab-hub#installation
• Anaconda，https://www.anaconda.com
  • conda命令參考，https://conda.io/docs/commands.html
  • Conda-Anaconda的虛擬環境和包管理功能
• JupyterHub繪圖功能，JupyterHub on Kubernetes繪圖支持軟件。
• Jupyter Notebook
  • Jupyter platform, on ReadTheDocs
  • The Jupyter Notebook Viewer
  • repo2docker documentation
  • Jupyter Notebook Python, Scala, R, Spark, Mesos
  • Pandas快速入門
  • IPython的Magics魔法操做符
  • Jupyter的遠程受權問題
  • 在python中使用ggplot繪圖庫
  • 基於Docker+Jupyter+Python的科學計算環境
  • Keras+Tensorflow+Jupyter 安裝在Docker容器中運行
  • Keras+Tensorflow部署在Jupyter+Spark+Docker教程
• Jupyter與空間分析
  • GDAL的Python調用－Notebook分享
  • Shapely地理空間幾何對象庫的安裝與使用
  • Fiona地理數據引擎Python庫
  • Fiona地理數據引擎，使用手冊
  • 基於GIScript和GeoIP進行訪問網址的地理定位分析

五、JupyterLab啓用

JupyterLab是基於notebook的新UI，界面以下：

在JupyterHub中啓用JupyterLab，步驟很是簡單：

• 在Helm 配置文件（values.yaml）加入JupyterLab的參數：

hub:
  extraEnv: JUPYTER_ENABLE_LAB: 1 
  extraConfig: 
    c.KubeSpawner.cmd = ['jupyter-labhub']

• 修改啓動時的路徑爲JupyterLab（「/lab」，進入經典界面設爲「tree」），修改Helm配置文件:

singleuser:
  defaultUrl: "/lab"

而後，運行helm的更新程序：

helm upgrade jupyter ./jupyterhub

其中，jupyter爲要更新的Helm list中的名稱，./jupyterhub爲當前配置文件helm chart的路徑。

須要到瀏覽器界面stop server，而後start server，就成爲新的jupyter運行環境了。