##haohaohao#######蘑菇街自研服務框架如何提高在線推理效率？

Online Serving 簡介 從本質而言，在線服務就是提供 (http, rpc) 等接口，用戶輸入 X, X 通過 pre-process 處理成符合模型輸入的參數，經由模型推理後獲得 Y，Y 通過 post-process 處理成符合用戶認知的數據格式，最後將結果返回。golang 第 2 步和訓練中的 evalute/test 相應步驟幾乎同樣，只是在線推理下的 batch size

>>阅读原文<<