阿里雲容器服務Kubernetes 基於GPU指標自動伸縮

基於GPU的指標擴縮容 在深度學習訓練中，訓練完成的模型，通過Serving服務提供模型服務。本文介紹如何構建彈性自動伸縮的Serving服務。 Kubernetes 支持HPA模塊進行容器伸縮，默認支持CPU和內存等指標。原生的HPA基於Heapster，不支持GPU指標的伸縮，但是支持通過CustomMetrics的方式進行HPA指標的擴展。我們可以通過部署一個基於Prometheus Ada

>>阅读原文<<