大數據時代就是有數據纔能有將來

問:馬雲曾經在一次演講中說道：「人類正從IT時代走向DT時代」。做爲資深的數據工程師，你是怎麼看待這句話的？（建議從數據量角度解讀）

答:從IT到DT實際上是個很天然的延續，新一代的信息技術與咱們經濟社會各領域的深度融合，引起了數據量的爆發式增加。據統計，全球所掌握的數據，每18個月就會翻倍，不少人也把這稱爲新的摩爾定律。到2020年，全球的數據量將會達到40ZB。40ZB至關於40萬億GB，估計是地球上全部海灘上的沙粒數量的57倍，平均每人擁有的數據將會是5247GB。

信息化已經從過去提高效率的工具轉變成爲社會發展的基礎和支撐。開放的互聯網精神打破了原有的技術壁壘，造成了新型的產業和商業創新模式，有效下降了創新門檻，帶來更爲公平、開放、透明的市場環境，同時也推進數據成爲重要的生產資料。若是說之前是「得技術者得天下」，那麼如今則是「有數據者有將來」。

問:在這樣的大數據時代，或者DT時代，大數據究竟是怎麼樣造福社會的呢？

答:當各行各業的數據累積到必定規模，基於數據存儲、管理、挖掘、應用等新技術，就能幫助咱們「把握如今，預知將來」，這樣就能夠早作預防。不少之前靠直覺或經驗作事情，如今均可以用數據來作支撐。好比說在加拿大多倫多的一家醫院，針對早產嬰兒，每秒鐘有超過3000次的數據讀取。經過這些數據分析，醫院可以提早知道哪些早產兒出現問題而且有針對性地採起措施，避免早產嬰兒夭折。

問:隨着大數據時代的來臨，我的隱私信息時刻面臨着被泄露的風險。好比以前網易郵箱數據遭泄露，大量用戶的隱私遭曝光。你如何看待這個問題呢？或者說，咱們普通人怎麼樣保護本身隱私？

答:大數據安全體系的創建我我的認爲應該是一個系統性的工程，須要從法律法規、行業規範以及技術手段等多方面對我的隱私數據進行監管和保護。首先對於有數據的企業和組織，應努力增強技術攻關，造成信息安全技術體系，設置更爲完善數據安全級別和粒度；其次應該設置中立的數據監督機構，經過制定嚴格行業規範，提升應用中的我的隱私保護，從而平衡公共利益與我的隱私之間的矛盾；最後就是從國家法律層面，應該積極推進我的信息保護相關標準出臺和認證體系創建。

問:對企業來講，大數據對現代企業有哪些影響，或者說給企業帶來哪些便利，以及對企業生存而言，存在哪些威脅？

答:最大的影響應該是決策模式的改變，之前的決策都是基於決策者主觀經驗的，不夠客觀。有了大數據，企業能夠對大數據分析，從中總結經驗、發現規律、預測趨勢、輔助決策，充分釋放和利用海量數據資源中蘊含的巨大價值。

談到威脅，最大的可能就是以前所提到的用戶隱私問題。有了數據是好事，能夠幫助企業更準確地瞭解用戶，但若是不能保證數據的安全，就會存在很是大的安全隱患，有的企業會以爲用戶享受咱們的服務，理所固然的認爲能夠收集用戶的信息，想拿着用戶的數據變現，這就更是玩火自焚了。

問:做爲財經頭條APP的數據工程師，你是如何對數據進行處理來優化這個產品的？

答:財經頭條如今設置了數據採集，數據處理和數據分析與挖掘三個研發小組。咱們會按期對新技術進行調研和試用，結合現有業務須要，來優化咱們現有的數據技術體系。大數據是個概念，但大數據技術是要靠實打實的研發，當前大數據技術更迭都很快，須要咱們整個數據團隊保持很是高的學習效率。