KuAI平臺 | 模型在線推理系統的高可用設計

摘要 隨着大數據技術和人工智能技術的發展，越來越多的業務場景，如金融風控、在線廣告、商品推薦、智能城市等，採用大量的機器學習技術來提升服務質量和智能決策水平。針對具體的任務，訓練得到模型後，需要將其封裝、部署上線，提供在線推理服務，解決實際業務問題。 本文提出一種分佈式機器學習模型在線推理系統的完整技術方案，該系統主要採用CPU/GPU 計算節點來提供推理任務的基礎算力，通過Docker容器技術封

>>阅读原文<<