Kubernetes的共享GPU集羣調度

問題背景git 全球主要的容器集羣服務廠商的Kubernetes服務都提供了Nvidia GPU容器調度能力，可是一般都是將一個GPU卡分配給一個容器。這能夠實現比較好的隔離性，確保使用GPU的應用不會被其餘應用影響；對於深度學習模型訓練的場景很是適合，可是若是對於模型開發和模型預測的場景就會比較浪費。 你們的訴求是可以讓更多的預測服務共享同一個GPU卡上，進而提升集羣中Nvidia GPU的利用

>>阅读原文<<