深度學習-在線推斷（Inference）技術

    深度學習一般分爲訓練和在線推斷兩個部分，大家平時經常關注的多爲訓練階段，也就是搜索和求解模型最優參數的階段。而當模型參數已經求解出來，如何使用模型，以及在在線環境中部署模型，也是非常重要的。     一般會比較關注其中的一些技術點：     訪問延遲     吞吐量     模型版本管理     DevOps    大公司較爲傾向自己造輪子，而小公司更傾向於用開源方案。     1 軟件層

>>阅读原文<<