回首過去十年,咱們見證了大數據從概念誕生到行業落地,逐漸發展到基於數據中臺驅動決策的數據智能時代。做爲後互聯網時代的產物,數據智能必將是將來很長一個發展階段的核心所在。算法
每日互動(個推)做爲數據智能行業的表明企業之一,於今年迎來了第一個十年。在這十年間,個推以消息推送起家,藉助技術力量拓寬以數據智能爲核心的業務範疇,現已成長爲一家在A股上市的數據智能企業。segmentfault
但「數據智能」這個詞,對於大衆來講仍然相對比較陌生。數據行業資深從業者如何定義「數據智能」?過去的十年間,個推經歷了怎麼樣的發展歷程?即將到來的「數據智能」新十年,個推又將以什麼樣的角色參與當中?安全
在個推十週年之際, SegmentFault 思否帶着以上這些問題,對個推 CTO 葉新江進行了一次專訪。網絡
隨着移動互聯網時代的到來,互聯網內容傳播和展示形式發生了巨大的變化,也讓數據的量級和形態發生了改變,數據服務也隨之發生了轉變。傳統的數據服務基本只針對於數據自己,而數據智能做爲一種由數據、算力和算法等驅動的技術手段,具有着賦能企業進行管理和決策的能力。架構
目前數據經濟在國家層面是一個很是重要的發展方向,但同時也延伸出了一個亟待解決的問題 —— 如何把各個行業的數據做爲生產要素,經過數據治理髮揮出更進一步的做用。機器學習
針對看不見摸不着的數據,須要有一個東西能進行有感管理,數據中臺就是一種用來進行數據治理的產品或者平臺,而數據智能則屬於一個更爲廣義的範疇,它是以數據做爲生產資料,經過結合大規模數據處理、數據挖掘、機器學習、人機交互、可視化、雲計算等多種技術,從大量的數據中提煉、發掘、獲取知識,爲人們在制定決策時提供有效的支持,減小或者消除不肯定性的解決方案。工具
這兩個詞看起來很接近,但實際上是不一樣維度的。以咱們公司來說,數據中臺更多的是一個產品,體現了咱們公司的數據能力;而數據智能則包含更多技術,融合了更多的行業知識,中臺是其中一個很重要的工具。打一個形象的比喻,數據中臺或者平臺是一個電腦的操做系統,而數據智能則是結合業務,使用這個電腦,利用多種技術進行APP開發,而且不斷進行優化的過程。佈局
目前市面上有不少數據中臺類的產品,據咱們觀察,其中大部分的重點仍主要聚焦於數據治理的能力,但這可能只是數據中臺的「第一步」。學習
對於數據中臺產品來說,技術壁壘可能並非很高。中臺會應用到的技術,雖然有些功能能夠經過直接使用開源產品來實現,但也有很多標準或者要求,好比安全性、實時性、可視化能力等,須要專業的技術來定製實現。區塊鏈
固然在數據中臺層面,採用的技術架構不一樣、產品設計的理念不一樣也是能夠有差別的,譬如是否容易使用、容易理解、對資源要求是否經濟等。
若是但願經過數據中臺中來解決業務問題,實現降本增效或者發現新的業務模式,這就不是數據治理能解決的問題,須要有對行業的深度理解,也就是所謂的行業壁壘。
個推和其餘大數據公司的差異,就體如今如何挖掘數據價值的層面。
個推的第一款產品是消息推送服務,這是一項跟數據緊密相關的業務。爲了支撐這項業務的進行,實現消息推送在海量數據量下的快速響應,個推一直在嘗試爲企業內部打造一個業務 + 數據平臺的協同閉環。這也爲以後公司推出數據服務產品打下了很好的基礎。
在數據服務層面,個推既是服務的提供者也是使用者,這是咱們在這個領域內最大的優點。
數據服務領域暫時尚未一套國際或者國家權威機構提出的行業標準。究其緣由,是由於數據服務在不一樣的行業間有着很大的差異,與通常的技術體系相比,具有更強的服務屬性。
對於客戶來講,挑選數據服務的時候會有幾個考量的維度:
這三項標準會是客戶選擇服務時的決策依據。但在選擇完以後,服務商應該如何完成、如何實現客戶提出的需求,由於沒有清晰的界定與評判方式,須要客戶在選型時進行綜合性的考慮,並在後續實際的業務場景中去感覺平臺的服務能力。
這種狀況其實也和市場需求有關。目前國內企業提出的需求都較爲「定製化」,再加上不一樣行業間的差別,致使國內的數據服務公司大部分是結合行業提供垂直的數據服務能力。
我國的數字經濟發展纔剛剛開始,數據智能服務的能力也在不斷迭代、發展。人工智能、區塊鏈、知識圖譜、可視化等新興技術,均可以做爲底層的技術支撐爲數據智能服務賦能,從而讓咱們的數據服務具有更強大的能力,產生更多價值。
個推是咱們的消息推送產品,作得比較早而且比較成熟了。但其實咱們公司發展到如今已經十年了,業務範疇也早就不止是消息推送了。
公司發展的第一個階段是 2010 年到 2013年。當時咱們的核心團隊主要是在打磨消息推送的能力,也就是一套大規模的通訊系統 + 互聯網搜索系統,這是一個比較垂直但對於技術要求很高的領域。
2014年至2018年,公司進入了數據價值的「掘金」與「實踐」階段。在不斷精進推送能力的同時,咱們發現系統產生了很是多的數據,如何讓這些數據發揮價值成爲了咱們須要思考和解決的問題。也是從這個階段開始,個推開始致力於大數據系統的研發。
個推的消息推送產品天天會產生幾十個 T 的數據,如何存儲、清洗、建模,如何在業務場景中產生商業化的價值,這是這一階段咱們的研發重點。通過幾年的業務培養與場景實踐,咱們將在數據服務領域沉澱下來的能力和 know how(知識、經驗、流程) ,變成一種能夠服務於更多行業的產品,能夠說公司正式進入到了數據智能的階段。
2019年3月,每日互動成功在A股創業板上市,也引發了數據智能領域的一次新風潮。
在今年的疫情過程當中,個推數據智能的能力獲得了至關程度的驗證。疫情期間,咱們與李蘭娟院士取得聯繫,與李蘭娟院士團隊合做成立聯合戰隊。經過大數據技術,聯合戰隊對疫情發展態勢進行了研判,幫助疫情防控部門找到工做重點區域、重點人羣和重點場景。在全國逐步有序恢復生產的時候,個推也充分發揮大數據能力並參與其中,爲多個省份的疫情聯防聯控與民生保障、復工復產的有序統籌提供了決策參考依據。
固然,個推的數據智能服務仍然是在不斷迭代發展的。隨着人工智能、區塊鏈、知識圖譜、可視化等等新興技術的發展,這項基於數據的服務也將產生更多的價值。
「每日治數平臺」其實也是數據中臺的概念,但咱們提供的數據服務主要是應用於數據治理領域,因此命名爲治數平臺更爲準確。
這個平臺還有一個提煉後的名字 —— DMP。D 表明了數據(DATA),M 表明了 機器(MACHINE),而 P 則表明了人(PEOPLE)和專業(PRO)。這幾個關鍵詞也表明了咱們平臺的定位,即數據做爲底層資料,快速專業地服務於具體業務當中。
我國的數字經濟發展其實才剛剛開始,據瞭解,很多企業並不知道該如何進行數字化、智能化的轉型,業內也缺少專業的數據人才。
所以,咱們的目標方向和傳統的數據中臺不一樣。咱們但願真正將個推 know how 的能力沉澱下來,造成客戶能夠複用的服務或平臺產品。之因此想要打造這樣的一個平臺,背後其實也是基於用戶的實際需求。
個推消息推送業務的第一個客戶是新浪微博。當時微博很是火,有着上億的用戶量,消息推送對他們來講是不可或缺的一項功能。
2011年,咱們主動聯繫了微博相關業務的負責人,表示能夠提供專業的消息推送服務,用更低的成原本實現更好的效果,這也是咱們可以打動他們的緣由。
之因此第一個客戶就敢挑戰「行業頂配」的難度,一方面是技術團隊自身具有紮實的技術基礎和行業基礎,另外一方面就是前面提到的,咱們在支持自身業務的過程中沉澱下來的數據和技術能力。
有這樣一個需求明確的大客戶,讓咱們的技術服務能力得以更加高效地迭代,大大加快了技術進步的速度。
接受挑戰並作到「極致」,正是咱們公司的工程師文化,對此咱們感受很自豪。
隨着數據能力的加強,以及對於行業理解的不斷加深,咱們目前的服務客戶已經擴展到四大領域 —— 互聯網、公共服務、風控服務和品牌營銷服務。
以金融領域爲例, 不少金融機構內部有本身的 App,涉及推送、統計、分析之類很是繁複的數據和信息處理場景。咱們幫他們打造了一個集成的消息平臺中心,解決了消息處理的分散問題,改善了工做流程。在深度溝通以後,咱們發現數據智能服務在金融行業中是一個很是重度的業務場景,爲此咱們也在考慮開發專門針對金融行業的治數平臺。
個推團隊自創建之初,便很是注重對於數據安全的保障。正如問題所說,數據安全對數據公司來講是紅線,個推始終認爲保護用戶數據隱私是企業必需要堅守和捍衛的行業準則、道德底線,並要時刻保持對數據安全的敬畏之心。
個推在嚴格落實合規和監管要求的同時,倡導行業自律,積極聯合行業夥伴的力量,共同推進行業的健康發展。今年8月,由個推牽頭起草的《信息安全技術移動互聯網應用程序(App)SDK安全指南》國家標準項目,得到全國信息安全標準化技術委員會正式立項,這將有助於SDK行業在開發、運營、信息處理、安全管理等環節向更規範的方向邁進。
在今年的浙江省網絡攻防演練當中,個推在395家參選企業中不借助外部安全公司的力量,僅憑公司自身的安全能力,便取得了第 14 名的成績,仍是很自豪的。
隨着數據產業的規模愈來愈大,生態分工在將來將會愈來愈細,數據服務也將愈來愈細。而隨着人工智能、雲計算、物聯網等技術的發展,大數據會不會和互聯網同樣,再也不成爲人們單獨討論的概念,而是成爲像水電同樣的基礎設施,服務於各行各業中?
隨着 5G 的成熟,數據領域的發展將從基礎的量變迎來一次質變,成爲像水電同樣的社會基礎設施。
近幾年你們其實不多再單獨討論互聯網的概念,其中的一個因素,我認爲是互聯網已經再也不是新鮮事物,現階段技術的發展基於互聯網但又高於互聯網,大數據以後的發展確定也會這樣,數據智能的將來,雖然基於大數據,可是不會再單獨討論大數據的概念。
從技術層面來看,大數據行業的發展對海量數據的存儲、處理、挖掘需求確定會愈來愈高,將來可能也會誕生出幾個巨頭,將行業進行更加明確的細分。這是一個你們已經可以觀察到的趨勢。
隨着數據產業的規模愈來愈大,生態分工在將來將會愈來愈明確,數據類的服務也將愈來愈精細化。咱們打造的個推每日治數平臺,就是但願可以參與到生態的建設當中,甚至圍繞平臺打造出一種新的生態。
不一樣的人評價同一件事確定會有不一樣的出發點,這個觀點看起來應該是雲服務廠商提出的(笑)。很巧,我前一陣也跟吉利公司的人在討論這個問題,他們最近剛從一家雲廠商中遷移出來。
對企業來講,上不上雲、選擇公有云仍是私有云、選擇哪家雲廠商須要考慮幾個維度:成本吃不吃得消、是否自主可控、當不知足業務需求或者服務需求時是否方便切換等。
以個推爲例,咱們目前不會將數據放到第三方的雲上,但從資源的調度、成本的控制等方面來看,雲體系已是一個公認的標準答案,因此咱們也會使用雲計算的相關技術,好比容器雲、虛擬化等。
新技術的出現,對行業來說既是機會也是挑戰。每次新技術的出現,都能爲人類解放生產力或者提升生產力提供了可能性。
但一些技術由於過於「新」,暫時尚未找到發揮能力的場景,沒辦法發揮出實際的社會價值,讓企業的投入與產出不成正比。
個推還成立了數據智能研究院,目前研究的方向是探索如何將技術更好地服務於具體的業務當中。好比咱們對物聯網技術方向的探索,是想將自身的推送技術能力延伸到電視機、汽車等場景當中;對機器學習和區塊鏈的探索則是爲了進行一些業務模式的研究。
技術是面向將來的,但用戶的需求是如今的。對於咱們來講,目前的重點仍是如何藉助技術快速迭代服務能力,爲用戶以及行業賦能。
回顧大數據行業和個推的發展時間線,不難發現個推成立的這十年,恰巧也是大數據從一種輔助工具向引領發展方向的核心引擎轉變的十年。
隨着大數據行業的發展,國家正在大力發展數字經濟,企業正在迎來一波藉助數據智能實現數字化、智能化的轉型新浪潮。在這股浪潮中,開始「治數」的個推將會扮演一個什麼樣的角色?咱們拭目以待。
個推十週年之際,SegmentFault 思否聯合個推一塊兒爲廣大開發者準備了重磅福利 —— 爆款SDK免費用1年、熱門大數據產品0門檻試用!點擊「領取連接」,便可參與,還有豐富的驚喜禮盒限時領取!