高可用Kubernetes集羣-14. 部署Kubernetes集羣性能監控平臺

參考文檔：

1. Github介紹：https://github.com/kubernetes/heapster
2. Github yaml文件： https://github.com/kubernetes/heapster/tree/master/deploy/kube-config/influxdb

   或者（source code）：https://github.com/kubernetes/heapster/releases

3. cAdvisor：https://github.com/google/cadvisor
4. Influxdb：http://influxdb.com
5. Grafana：http://grafana.org 

開源軟件cAdvisor（Container Advisor）用於監控所在節點的容器運行狀態，當前已經被默認集成到kubelet組件內，默認使用tcp 4194端口。

在大規模容器集羣，通常使用Heapster+Influxdb+Grafana平臺實現集羣性能數據的採集，存儲與展現。

一．環境

1. 基礎環境

組件	版本	Remark
kubernetes	v1.9.2
heapster	v1.5.1
Influxdb	v1.3.3
grafana	v4.4.3

2. 原理

1. Heapster：集羣中各node節點的cAdvisor的數據採集匯聚系統，經過調用node上kubelet的api，再經過kubelet調用cAdvisor的api來採集所在節點上全部容器的性能數據。Heapster對性能數據進行聚合，並將結果保存到後端存儲系統，heapster支持多種後端存儲系統，如memory，Influxdb等。
2. Influxdb：分佈式時序數據庫（每條記錄有帶有時間戳屬性），主要用於實時數據採集，時間跟蹤記錄，存儲時間圖表，原始數據等。Influxdb提供rest api用於數據的存儲與查詢。
3. Grafana：經過dashboard將Influxdb中的時序數據展示成圖表或曲線等形式，便於查看集羣運行狀態。
4. Heapster，Influxdb，Grafana均以Pod的形式啓動與運行。 

二．部署Kubernetes集羣性能監控

1. 準備images

kubernetes部署服務時，爲避免部署時發生pull鏡像超時的問題，建議提早將相關鏡像pull到相關全部節點（如下以kubenode1爲例），或搭建本地鏡像系統。

1. 基礎環境已作了鏡像加速，可參考：http://www.cnblogs.com/netonline/p/7420188.html
2. 須要從gcr.io pull的鏡像，已利用Docker Hub的"Create Auto-Build GitHub"功能（Docker Hub利用GitHub上的Dockerfile文件build鏡像），在我的的Docker Hub build成功，可直接pull到本地使用。

# heapster
[root@kubenode1 ~]# docker pull netonline/heapster-amd64:v1.5.1

# influxdb
[root@kubenode1 ~]# docker pull netonline/heapster-influxdb-amd64:v1.3.3

# grafana
[root@kubenode1 ~]# docker pull netonline/heapster-grafana-amd64:v4.4.3

2. 下載yaml範本

# release下載頁：https://github.com/kubernetes/heapster/releases
# release中的yaml範本有時較https://github.com/kubernetes/heapster/tree/master/deploy/kube-config/influxdb的yaml新，但區別不大
[root@kubenode1 ~]# cd /usr/local/src/ 
[root@kubenode1 src]# wget -O heapster-v1.5.1.tar.gz https://github.com/kubernetes/heapster/archive/v1.5.1.tar.gz

# yaml範本在heapster/deploy/kube-config/influxdb目錄，另有1個heapster-rbac.yaml在heapster/deploy/kube-config/rbac目錄，二者目錄結構同github
[root@kubenode1 src]# tar -zxvf heapster-v1.5.1.tar.gz -C /usr/local/
[root@kubenode1 src]# mv /usr/local/heapster-1.5.1 /usr/local/heapster

本實驗使用yaml文件（修改版）：https://github.com/Netonline2016/kubernetes/tree/master/addons/heapster

3. heapster-rbac.yaml

# heapster須要向kubernetes-master請求node列表，須要設置相應權限；
# 默認不須要對heapster-rbac.yaml修改，將kubernetes集羣自帶的ClusterRole ：system:heapster作ClusterRoleBinding，完成受權
[root@kubenode1 ~]# cd /usr/local/heapster/deploy/kube-config/rbac/
[root@kubenode1 rbac]# cat heapster-rbac.yaml 
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: heapster
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: system:heapster
subjects:
- kind: ServiceAccount
  name: heapster
  namespace: kube-system

4. heapster.yaml

hepster.yaml由3個模塊組成：ServiceAccout，Deployment，Service。 

1）ServiceAccount

默認不須要修改ServiceAccount部分，設置ServiceAccount資源，獲取rbac中定義的權限。 

2）Deployment

# 修改處：第23行，變動鏡像名；
# --source：配置採集源，使用安全端口調用kubernetes集羣api；
# --sink：配置後端存儲爲influxdb；地址採用influxdb的service名，須要集羣dns正常工做，若是沒有配置dns服務，可以使用service的ClusterIP地址
[root@kubenode1 ~]# cd /usr/local/heapster/deploy/kube-config/influxdb/
[root@kubenode1 influxdb]# sed -i 's|gcr.io/google_containers/heapster-amd64:v1.5.1|netonline/heapster-amd64:v1.5.1|g' heapster.yaml
[root@kubenode1 influxdb]# cat heapster.yaml
……
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: heapster
  namespace: kube-system
spec:
  replicas: 1
  template:
    metadata:
      labels:
        task: monitoring
        k8s-app: heapster
    spec:
      serviceAccountName: heapster
      containers:
      - name: heapster
        image: netonline/heapster-amd64:v1.5.1
        imagePullPolicy: IfNotPresent
        command:
        - /heapster
        - --source=kubernetes:https://kubernetes.default  - --sink=influxdb:http://monitoring-influxdb.kube-system.svc:8086
…… 

3）Service

默認不須要修改Service部分。

5. influxdb.yaml

influxdb.yaml由2個模塊組成：Deployment，Service。 

1）Deployment

# 修改處：第16行，變動鏡像名；
[root@kubenode1 influxdb]# sed -i 's|gcr.io/google_containers/heapster-influxdb-amd64:v1.3.3|netonline/heapster-influxdb-amd64:v1.3.3|g' influxdb.yaml 

2）Service

默認不須要修改Service部分，注意Service名字的對應便可。

6. grafana.yaml

grafana.yaml由2個模塊組成：Deployment，Service。 

1）Deployment

# 修改處：第16行，變動鏡像名；
# 修改處：第43行，取消註釋；「GF_SERVER_ROOT_URL」的value值設定後，只能經過API Server proxy訪問grafana； 
# 修改處：第44行，註釋本行；
# INFLUXDB_HOST的value值設定爲influxdb的service名，依賴於集羣dns，或者直接使用ClusterIP
[root@kubenode1 influxdb]# sed -i 's|gcr.io/google_containers/heapster-grafana-amd64:v4.4.3|netonline/heapster-grafana-amd64:v4.4.3|g' grafana.yaml 
[root@kubenode1 influxdb]# sed -i '43s|# value:|value:|g' grafana.yaml
[root@kubenode1 influxdb]# sed -i '44s|value:|# value:|g' grafana.yaml
[root@kubenode1 influxdb]# cat grafana.yaml
……
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: monitoring-grafana
  namespace: kube-system
spec:
  replicas: 1
  template:
    metadata:
      labels:
        task: monitoring
        k8s-app: grafana
    spec:
      containers:
      - name: grafana
        image: netonline/heapster-grafana-amd64:v4.4.3
        ports:
        - containerPort: 3000
          protocol: TCP
        volumeMounts:
        - mountPath: /etc/ssl/certs
          name: ca-certificates
          readOnly: true
        - mountPath: /var
          name: grafana-storage
        env:
        - name: INFLUXDB_HOST value: monitoring-influxdb - name: GF_SERVER_HTTP_PORT
          value: "3000"
          # The following env variables are required to make Grafana accessible via
          # the kubernetes api-server proxy. On production clusters, we recommend
          # removing these env variables, setup auth for grafana, and expose the grafana
          # service using a LoadBalancer or a public IP.
        - name: GF_AUTH_BASIC_ENABLED
          value: "false"
        - name: GF_AUTH_ANONYMOUS_ENABLED
          value: "true"
        - name: GF_AUTH_ANONYMOUS_ORG_ROLE
          value: Admin
        - name: GF_SERVER_ROOT_URL
          # If you're only using the API Server proxy, set this value instead:
 value: /api/v1/namespaces/kube-system/services/monitoring-grafana/proxy # value: /
      volumes:
      - name: ca-certificates
        hostPath:
          path: /etc/ssl/certs
      - name: grafana-storage
        emptyDir: {}
…… 

2）Service

默認不須要修改Service部分，注意Service名字的對應便可。

三．驗證

1. 啓動監控相關服務

# 將heapster-rbac.yaml複製到influxdb/目錄；
[root@kubenode1 ~]# cd /usr/local/heapster/deploy/kube-config/influxdb/
[root@kubenode1 influxdb]# cp /usr/local/heapster/deploy/kube-config/rbac/heapster-rbac.yaml .
[root@kubenode1 influxdb]# kubectl create -f .

2. 查看相關服務

# 查看deployment與Pod運行狀態
[root@kubenode1 ~]# kubectl get deploy -n kube-system | grep -E 'heapster|monitoring'
[root@kubenode1 ~]# kubectl get pods -n kube-system | grep -E 'heapster|monitoring'

# 查看service運行狀態
[root@kubenode1 ~]# kubectl get svc -n kube-system | grep -E 'heapster|monitoring'

3. 訪問dashboard

瀏覽器訪問訪問dashboard：https://172.30.200.10:6443/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy

注意：Dasheboard沒有配置hepster監控平臺時，不能展現node，Pod資源的CPU與內存等metric圖形

Node資源CPU/內存metric圖形：

Pod資源CPU/內存metric圖形：

4. 訪問grafana

# 經過kube-apiserver訪問
[root@kubenode1 ~]# kubectl cluster-info

瀏覽器訪問訪問dashboard：https://172.30.200.10:6443/api/v1/namespaces/kube-system/services/monitoring-grafana/proxy

集羣節點信息：

Pod信息：