開放式視頻平臺關鍵技術及實現

時間 2019-11-12

標籤開放視頻平臺關鍵技術實現简体版

原文原文鏈接

　　1 選題背景 html

　　美國互聯網流量監測機構comeScore在2013年5月發佈報告稱，2013年4月有1.829億美國人觀看了網絡視頻，觀看量達到388億次，網絡視頻廣告觀看量也創下132億次的歷史新高。總的來看，當月共有84.7%的美國人觀看過網絡視頻。平均每段網絡視頻內容持續5.6分鐘，平均每段網絡視頻廣告持續0.4分鐘。程序員

　　在國內，據iUserTracker監測數據顯示，在線視頻在2012年第二季度已經超越搜索服務和社區交友，成爲中國用戶規模最大的網絡服務，2012年5月用戶規模達到4.2億。艾瑞的分析報告指出，2012年視頻行業總體市場規模達到92.5億元，同比2011年增加了47.6%，並且將來還會以30%以上的速度繼續增加。 redis

圖1：2009-2016年中國在線視頻行業市場規模

　　根據以上統計數據，網絡視頻的網民滲透率很是高，網絡視頻聚集了大量網民。而在2012年世界網民的數量已經超過25億，國內網民的規模也達到了5.64億。面對規模如此之大的網絡視頻市場，在線視頻服務商們對這塊大蛋糕固然是虎視眈眈。算法

　　視頻行業充滿機遇與挑戰。2012年，國務院「寬帶中國」工程，加快信息網絡寬帶化升級的決定出爐，北京、上海、南京、西安等城市也前後宣佈了大幅度免費提高居民寬帶速度。業內預計，此舉將讓網絡視頻等對網絡環境有較高要求的行業迎來新的發展機遇。隨着視頻成爲網絡基礎應用，大量企業須要經過本身網站進行視頻推廣，而傳媒和教育等行業更須要構建在線視頻平臺。傳統狀況下，企業須要花費巨大的資金成本購置寬帶和服務器，再僱傭技術公司來自建系統，繼而組建一支IT團隊對系統進行後期維護和升級。最後倒是投入和產出之間的極大不平衡。 mongodb

　　保利威視(POLYV)(保利威視，http://www.polyv.net)是在此背景下提出來的一個集視頻管理、視頻存儲、視頻轉碼、視頻加密、視頻CDN分發、視頻播放器、多終端播放支持、廣告系統、統計系統於一身的在線視頻(SAAS)雲服務平臺。用戶只需按需購買保利威視(POLYV)的服務，便可快速開展在線視頻業務，大大節約了企業的成本並提升了效率，使多數企業的核心競爭力迴歸業務自己，抹平企業規模所致使的優劣差距，從而糾正互聯網企業競爭資本化的趨勢。保利威視(POLYV)也將大幅度下降中小企業參與競爭的門檻，爲市場注入更多的活力，有利於行業的長足發展。數據庫

　　2 平臺需求 緩存

　　保利威視(POLYV)在線視頻雲服務平臺須要提供視頻發佈、視頻轉碼、視頻存儲、視頻管理、播放器設置、多終端播放、廣告系統、統計系統、視頻加密等基礎核心功能。安全

　　2.1 視頻發佈 服務器

　　保利威視(POLYV)提供至少3種視頻上傳方式：經過保利威視(POLYV)管理後臺進行上傳，經過保利威視(POLYV)客戶端進行上傳，使用Flash插件上傳。其中，保利威視(POLYV)客戶端須要支持大文件(2G以上)上傳，並支持斷點續傳。網絡

　　2.2 視頻轉碼

　　保利威視(POLYV)支持對FLV、MP四、AVI、MPG、MOV、ASF、3GP、F4V、WMV等多種格式的視頻源文件進行轉碼，輸出多種碼率、多種格式的視頻文件，同時須要抽取視頻的關鍵幀，造成視頻的截圖集。

　　2.3 視頻存儲

　　提供PB級別的存儲能力，多副本、多數據中心容災備份，並提供高帶寬、覆蓋全國骨幹節點的雙CDN加速服務。

　　2.4 視頻管理

　　視頻信息編輯、刪除、視頻搜索、截圖修改、視頻預覽、播放列表、視頻信息分頁顯示等多項視頻管理功能。

　　2.5 播放器設置及多終端播放

　　提供豐富的播放器皮膚，用戶可自由調節播放器面板的顏色、透明度、視頻水印、播放器LOGO，能夠設置片頭、片尾、播放列表的位置等，提供實時預覽功能，立刻看到設置效果。

　　視頻能夠在Web頁面播放，也能夠在iOS設備(iPad、iPhone)上播放，也能夠在Android移動設備上播放。

　　2.6 廣告和統計

　　提供視頻片頭、視頻片尾、暫停播放等廣告位置，支持多樣廣告素材，可設置廣告開始、廣告結束的時間。

　　記錄視頻播放量、觀衆量、播放時長、視頻平均播放時長、人均播放量、人均播放時長、地理位置、以及每次播放的細節過程和播放行爲，統計廣告訪問的狀況。

　　2.7 視頻加密

　　2.7.1具備自主知識產權的視頻加密技術，具體實現原理和流程以下：

圖2：視頻加密實現流程

　 2.7.2 保利威視(POLYV)視頻加密技術有如下特色：

徹底兼容flash player，用戶無需安裝任何第三方插件便可實現對視頻的保護;
徹底兼容目前的HTTP視頻CDN，無需購買昂貴的FMS服務器;
因爲採用http這種最成熟的傳輸模式，用戶的播放體驗也遠遠超越採用rtmp協議的fms流保護方案;
結合OVP防盜鏈能對視頻文件作到較爲全面的保護，並且即便視頻被盜鏈甚至是下載也沒法播放，作到了比fms更加可靠和嚴密的加密級別;
因爲每個視頻文件都有惟一的key，即便某文件被破解，其它文件也仍是安全的，大大增長了破解者的難度。

　保利威視(POLYV)的視頻加密技術在較高級別加密安全性的前提下實現了用戶的易用體驗。

　　3 行業應用

　　本節對保利威視(POLYV)平臺應用的幾個重點行業作簡單的描述。

　　3.1 教育應用

圖3：教育用戶

　　3.11 行業需求：

高清穩定，收費直播點播;
安全存儲，嚴防下載，保護知識產權;
穩定的操做平臺;
支持多終端播放，隨時隨地學習。

　　3.12 方案優點

國內第一個實現直播點播視頻交易的商用技術平臺，採用咱們的視頻交易系統能爲教育網站直接帶來現金收益;
擁有自主知識產權的加密技術，在保障數據的安全的前提下有極佳的用途體驗;
採用多副本的雲存儲技術，已經多CDN的分發平臺。既能保障視頻資料絕對不丟失，也能保證用戶在全國範圍內能順暢的觀看視頻;
支持多終端播放，支持互動白板。

　　3.2 企業應用

圖4:企業用戶

　　3.21 行業需求：

自主企業VI視頻播放器;
企業會議活動等在線直播;

　　3.22 方案優點

能讓企業設計自定義風格的播放器，能在視頻中自主添加企業或者產品LOGO水印，幫助企業增長品牌傳播力;
能讓企業經過視頻上的連接直接訪問指定頁面;
視頻統計功能，讓帳戶與直播服務進行實時監控;
與微博、SNS、社區網站無縫整合，增強營銷力.

　　3.3 廣電應用

圖5: 廣電用戶

　　3.31 行業需求：

高性能的新媒體視頻平臺，豐富網站內容，多樣化視頻品質，增長流量，提高品牌知名度;
新盈利模式，輕鬆投放管理廣告，視頻交易，下降總體擁有成本;
跨平臺多終端整合;

　　3.32 方案優點

提供高品質的視頻播放體驗，幫助媒體網站提高核心競爭力;
極強的定製開發能力，能迅速知足電視臺對新技術的開發要求;
完善的視頻運營體系，有效下降運維成本，領先的廣告投放管理，提升網站總體收益。

　　4 技術路線

　　保利威視(POLYV)是一個複雜的分佈式軟件系統，在技術選型方面採用目前主流的JavaEE平臺。開發語言主要使用Java和Python，關係數據庫使用MySQL，NoSQL數據庫使用MongoDB、Redis和Memcached，其中，MongoDB主要用於存儲訪問日誌，Redis主要用於構建具備優先級的分佈式隊列，Memcached用於緩存數據。保利威視(POLYV)平臺的架構如圖６所示。

圖6：保利威視(POLYV)平臺架構

　　5實現過程

　　本節對保利威視(POLYV)幾個重要系統的實現過程進行簡單描述。

　　5.1 分佈式存儲系統

　　在選型階段，做者分別對Lustre、MogileFS、FastDFS、MooseFS、HDFS等開源分佈式文件系統進行了調研和評測，結合保利威視(POLYV)平臺對存儲需求的特色，最終從性能、易用、易擴展等方面來肯定使用FastDFS搭建保利威視(POLYV)的分佈式文件存儲系統。

　　FastDFS是一款類Google FS的開源分佈式文件系統，它用純C語言實現，支持Linux、FreeBSD等操做系統。它只能經過專有的API對文件進行存取訪問，不支持POSIX接口訪問，不能mount使用。

圖7：FastDFS系統架構

　　整體來講，基於FastDFS搭建的保利威視(POLYV)分佈式存儲系統能夠容易擴展到PB級別的存儲能力，並且比較適合用於存儲圖片和視頻文件。

　　5.2 視頻轉碼服務

　　保利威視(POLYV)平臺的視頻轉碼服務流程如圖8所示。

圖８：視頻轉碼序列圖

　　用戶發佈視頻後，視頻發佈服務根據用戶的類型和級別、視頻文件的大小、視頻的碼率等信息計算一個權重值，新建一個具備權重優先級的視頻轉碼任務，並把任務加入到分佈式隊列中。轉碼機器羣中的守護進程會按期從分佈式隊列中提取轉碼任務，進行視頻轉碼，轉碼完成後把相關狀態數據更新到數據庫中。

　　5.3 統計系統

　　保利威視(POLYV)平臺的視頻播放和廣告訪問統計的處理流程如圖９所示。

圖9：統計流程序列圖

　　保利威視(POLYV)的視頻播放器在播放視頻的過程當中會將相關數據經過HTTP發送到Nginx，Nginx會將此類請求以日誌的方式記錄下來。保利威視(POLYV)的統計程序將按期分析Nginx的日誌，提取相關數據並把數據保存到MongoDB數據庫中。統計程序還將按期對MongoDB中的數據進行統計，並把統計結果轉存到MySQL數據庫中。

　　6 效果及評價

　　做爲新興的在線視頻雲服務平臺，保利威視(POLYV)深刻分析了不一樣行業企業對視頻應用的個性化需求，針對教育培訓、傳媒、政企、電子商務分別推出了行業應用解決方案。保利威視(POLYV)自上線以來，接受了大量用戶的試用，發展了數家代理商。到目前爲止，平臺的用戶數已超過1000個，平臺的服務獲得了廣大用戶的承認。

　　除了解決方案的行業針對性外，保利威視(POLYV)還因其開放平臺模式，深受用戶的歡迎。經過保利威視(POLYV)開放的API接口，用戶能夠本身開發應用程序來實現個性化的需求，能夠整合第三方視頻增值業務平臺，包括統計、分享、營銷工具、廣告聯盟等，使網站對視頻的應用更靈活和強大，網站視頻價值實現最大化。

　　保利威視(POLYV)處於迅速發展中，在將來一段時間內，隨着用戶量的不斷增長，保利威視(POLYV)須要對平臺進行擴展和優化甚至是重構，以加強平臺的服務能力。

　　參考文獻

[1] comScore. April 2013 U.S. Online Video Rankings[OL]. 2013. http://www.comscore.com/chi/Insights/Press_Releases/2013/5/comScore_Releases_April_2013_US_Online_Video_Rankings

[2] Ffmpeg. FFmpeg Documentation[OL]. 2013. http://www.ffmpeg.org/documentation.html

[3] MongoDB. MongoDB Documentation[OL]. 2013. http://docs.mongodb.org/manual/

[4] Redis. Redis Documentation[OL]. 2013. http://redis.io/documentation

[5] Leonard Richardson, Sam Ruby. RESTful Web Services[M], O’Reilly Media, Inc, USA, 2007

　　[6] 餘慶. 分佈式文件系統FastDFS架構剖析[J]. 程序員, 2010(11).

　　[7] 李敏, 郭捷. 基於H.264/SVC的視頻加密技術研究[J]. 信息安全與通訊加密, 2012(5)

　　[8] 曹蕊, 陳丹, 楊帆. 幀異或視頻加密算法[J]. 計算機與數字工程，2012, 40(2)

　　[9] 胡文波, 徐造林. 分佈式存儲方案的設計與研究[J]. 計算機技術與發展, 2010(4)

　　[10] 宋愛青. 基於Hadoop的日誌分析系統的設計與實現[D]. 北京：中國地質大學, 2012