EasyNVR智能雲終端接入AI視頻智能分析功能，用戶可自定義接入本身的分析算法

時間 2019-12-08

標籤 easynvr 智能終端視頻分析功能用戶可自定義本身算法简体版

原文原文鏈接

視頻分析的需求

人工智能的發展和在行業中的做用就不用多說了，已經到了勢在必行的一個程度了，尤爲是對於流媒體音視頻行業來講，這基本上是人工智能重中之重的領域，視頻人工智能，也就是視頻視覺分析的應用方式大致上能夠分爲兩種：git

中心計算：全部視頻圖像數據都以圖片或者視頻編碼流的形式傳輸到中心服務，再由中心服務進行視頻數據的分析，這種模式比較考驗中心服務的網絡能力和中心硬件的算力；
邊緣計算：將大部分的計算工做都在邊緣設備中完成，好比人臉、車牌、物體、行爲等的分析和比對，這種作法相比於中心計算的優點是不不但下降了對帶寬佔用的要求，並且分析的實時性更高，但邊緣計算設型的智能設備的生產和製造門檻會相對較高；

本次咱們重點介紹的就是邊緣計算型的視頻智能分析，邊緣計算型雲終端根據設備算力和設備芯片架構在研發成本上會有很大差別，若是選擇成本比較高、算力比較強的芯片，例如TX2這種的，對邊緣計算算法的要求可能就要求沒那麼高，可是若是選擇採用海思常規芯片，不但在訓練模型上會被限制，並且在算力上有較大侷限，這樣對算法的要求會很是很是高。github

EasyNVR爲何要加入AI功能

畢竟術業有專攻，EasyDarwin/EasyNVR團隊在視頻傳輸（拉流、分發、推流）領域的積澱很是雄厚，所以，咱們收到了不少專一於視頻分析公司關於視頻分析接入的需求，通過屢次的需求溝通和實踐論證，終於，咱們成功在EasyNVR智能雲終端中加入了AI視頻分析的功能，可是，這裏說的咱們加入，其實是咱們爲更多的AI人工智能公司打開了一個口子，讓作智能分析的公司專一作分析的事情，不用關注流轉的問題，咱們會將整個視頻監控設備從內網，到公網，到客戶端的傳輸流程都整合的很是穩定、可靠。web

EasyNVR怎麼接入AI智能分析算法

一、EasyNVR須要對每一路接入的通道視頻進行AI+的智能分析，在不破壞原有EasyNVR由Source（拉流）到Sink（推流）的過程，咱們須要在中間加入Filter（視頻處理）的過程，即EasyNVR內部的 Source->Filter->Sink，而這個Filter過程是可選的，配置了這個過程就調用，不配置就不調用，配置了，可是沒有Load到就不調用，Load到了就調用；算法

二、須要在每個通道中配置Filter的名稱以及自定義的參數，經過Filter的名稱做爲Function進行執行，Function會傳入（avFrame，userData，userPtr，callback），再由Callback輸出（userPtr，userData，avFrame），這樣就造成了整個的AI+用戶自定義流程；服務器

三、用戶回調出來的avFrame是進行下一步推流或者存儲的原材料，userData是用戶自定義的數據格式，EasyNVR能夠經過接口或者SEI數據等形式，回傳到流媒體服務器；網絡

咱們爲AI視頻分析的廠家提供了一套完整的視頻分析接入的示例：https://github.com/EasyNVR/EasyAIFilter架構

關於EasyNVR

EasyNVR可以經過簡單的網絡攝像機通道配置，將傳統監控行業裏面的高清網絡攝像機IP Camera、NVR等具備RTSP協議輸出的設備接入到EasyNVR，EasyNVR可以將這些視頻源的音視頻數據進行拉取，轉換爲RTMP/HLS，進行全平臺終端H5直播（Web、Android、iOS），而且EasyNVR可以將視頻源的直播數據對接到第三方CDN網絡，實現互聯網級別的直播分發；svg