Nvidia推邊緣運算平臺EGX 將來將提供企業AI模型參考框架

Nvidia在COMPUTEX期間，展現了新推出的邊緣運算平臺EGX在不一樣場景中的應用，包括監測路況的實時影像分析與對話式AI客服等。EGX平臺也能與Azure、AWS的雲端運算服務兼容，企業可先在雲端AI模型，再部署到本地端來應用。現場展現的對話式AI客服，是在顧客說話提問後，透過語音識別（Automatic Speech Recognition，ASR）將語言轉化爲文字，再經由天然語言處理（Natural Language Processing，NLP）到文本內容中尋找答案，最後運用文字轉語音（Text To Speech，TTS）的技術回答顧客問題。而這整個流程，都是透過邊緣運算完成。Nvidia表示，Chatbot經常使用三種AI技術中，訓練ASR模型和TTS模型，適合在本地端，前者不用上傳大量聲音檔案，後者則可避免網絡的延遲性致使聲音斷斷續續、或發音不完整，不過，要訓練NLP模型則因運算量較大，可先在雲端訓練。

Nvidia也示範用只一篇新聞稿來展現用EGX平臺訓練這三種Chatbot所需模型的狀況，首先讓NLP模型來分析新聞稿文字。

示範人員實際提問：Who is Bob Pette？

這個示範系統會將從NLP模型找出來的答案，透過TTS模型生成語音來回答顧客；若沒法在數據文本中找到答案，則會提供製式回答「Empty、No answer。」

Nvidia表示，將來提供企業的EGX平臺，會包括執行邊緣運算的硬件以及AI模型的參考框架。硬件的部分，EGX平臺有強大的擴充性，能夠支持體積極小、運算可達5 TOPS的Nvidia Jetson Nano，同時也能支持一整櫃的Nvidia T4服務器，提供超過10,000 TOPS的效能。除了硬件以外，Nvidia也會釋出的AI模型的參考框架，如應用案例中的NLP模型，是用目前最新、準確率最高、由google開源釋出的NLP模型BERT來作，將來釋出參考框架（Example model）後，能夠讓客戶在平臺上用自家數據來訓練，也能夠直接將訓練好的模型替換到平臺上。但參考框架會如何作、EGX平臺將來會支持哪些深度學習框架，Nvidia並沒有透露。EGX平臺的軟件架構（Nvidia Edge Stack）與AWS、Azure的IoT雲端服務相連，讓企業能自行在雲端創建AI模型，再部署到平臺來應用，而在平臺上創建的模型也能連接到雲端使用，Nvidia產品營銷部經理Paresh Kharya也表示，企業能夠透過AWS IoT Greengrass和微軟Azure IoT Edge來管理這些服務。更多相關人工智能信息：仲博虛擬體驗館 http://pharmacycentral.net/