容器開啓數據服務之旅系列（三）：Kubernetes QoS助力在線運用與大數據離線運用的混部

本文是2018年大數據峯會上的一些分享，關於在線業務，離線業務在ACK（阿里雲容器服務Kubernetes）的平臺上經過對namespace, cgroup, quota的靈活組合完成在線，離線業務場景的混合部署，來提升整體資源的使用率，以及支資源限制動態分配調整，來伸縮離線部分的資源水位。結合HPA和資源監控，能夠完成自動化的離線資源擠出。

在線業務Web應用/數據庫

QoS class： Guaranteed:
limit = request

離線業務 Spark/MapReduce/Deep Learning

QoS class：Burstable
request < limit

經過namespace的Guaranteed QoS設計，實如今線業務 Web 應用以及數據庫的性能保證

qosClass: Guaranteed

resources:
          requests:
            cpu: 300m
            memory: 512Mi
          limits:
            cpu: 300m
            memory: 512Mi

使用命名空間（cgroup）完成隔離和資源控制

 

cpu: 12
memory: 16Gi

Name:         online
Labels:       <none>
Annotations:  <none>
Status:       Active

Resource Quotas
 Name:                   quota
 Resource                Used   Hard
 --------                ---    ---
 configmaps              1      100
 cpu                     550m   12
 memory                  768Mi  16Gi
 persistentvolumeclaims  1      100
 pods                    2      100
 replicationcontrollers  0      10
 requests.storage        20Gi   1024G
 secrets                 3      100
 services                2      10

Resource Limits
 Type       Resource  Min  Max  Default Request  Default Limit  Max Limit/Request Ratio
 ----       --------  ---  ---  ---------------  -------------  -----------------------
 Container  cpu       -    -    100m             4              -
 Container  memory    -    -    256Mi            16Gi           -

使用namespace的Burstable QoS設計，實施離線大數據運算的資源可伸縮控制

QoS Class: Burstable