容器開啓數據服務之旅系列(四):Kubernetes QoS 助力在線運用與大數據離線運用的帶寬控制和磁盤控制

容器開啓數據服務之旅系列(四)

Kubernetes QoS 助力在線運用與大數據離線運用的帶寬控制和磁盤控制

概述

本文是2018年大數據峯會上的一些分享,關於在線業務,離線業務在ACK(阿里雲容器服務Kubernetes)的平臺上經過對bandwidth, disk quota的靈活組合完成在線,離線業務場景的混合部署,來提升整體資源的使用率,以及帶寬,本地盤資源的動態分配調整,來控制離線,在線資源水位。測試

離線大數據運算帶寬控制

QoS for bandwidth大數據

annotations:
    kubernetes.io/egress-bandwidth: 10M
    kubernetes.io/ingress-bandwidth: 5M

命名空間隔離和流量資源控制阿里雲

ingress-bandwidth: 5M
egress-bandwidth: 10M

Pod級別的流量控制spa

ingress-bandwidth: 10M
egress-bandwidth: 10M
Name:         batch
Labels:       <none>
Annotations:  kubernetes.io/egress-bandwidth=10M
              kubernetes.io/ingress-bandwidth=5M
Status:       Active

Resource Quotas
 Name:                   quota
 Resource                Used   Hard
 --------                ---    ---
 configmaps              0      100
 cpu                     100m   4
 memory                  256Mi  32Gi
 persistentvolumeclaims  0      100
 pods                    1      100
 replicationcontrollers  0      10
 requests.storage        0      1024G
 secrets                 1      100
 services                0      10

Resource Limits
 Type       Resource  Min  Max  Default Request  Default Limit  Max Limit/Request Ratio
 ----       --------  ---  ---  ---------------  -------------  -----------------------
 Container  cpu       -    -    100m             1              -
 Container  memory    -    -    256Mi            16Gi           -![image]

帶寬限制測試code

[ 4] 0.00-10.00 sec 93.7 MBytes 78.6 Mbits/sec receiver資源

相關文章
相關標籤/搜索