大數據發展歷程

一：大數據概念

大數據是由數量巨大、結構複雜、類型衆多的數據結構的數據集合，在合理時間內，經過對該該數據集合的管理、處理、並整理成爲能幫助政府機構和企業進行管理、決策的訊息。

二：大數據特色

大數據一般具備如下幾種特色：

一、大量：即數據體量龐大，包括採集、存儲和計算的量都很是大。

二、高速：要求處理速度快，從各種型的數據中快速得到高價值的信息

三、多樣：數據種類繁多

四、價值：價值密度低，因爲數據產生量巨大且速度很是快，必然造成各類有效數據和無效數據錯雜的狀態，所以數據價值的密度低。

五、在線：數據永遠在線，隨時能能調用計算

 

 

三：大數據發展歷程

一、上世紀末，是大數據的萌芽期，處於數據挖掘技術階段。隨着數據挖掘理論和數據庫技術的成熟，一些商業智能工具和知識管理技術開始被應用。

二、2003年-2006年是大數據發展的突破期，社交網絡的流行致使大量非結構化數據出現，傳統處理方法難以應對，數據處理系統、數據庫架構開始從新思考。

三、2006年-2009年，大數據造成並行計算和分佈式系統，爲大數據發展的成熟期。

四、2010年以來，隨着智能手機應用，數據碎片化、分佈式、流媒體特徵更加明顯，移動數據急劇增加。

五、2011年麥肯錫全球研究院發佈《大數據：下一個創新、競爭和生產力的前沿》，2012年維克托·舍恩伯格《大數據時代：生活、工做與思惟的大變革》宣傳推廣，大數據概念開始風靡全球。

六、2013年5月，麥肯錫全球研究所發佈了一份名爲《顛覆性技術：技術改進生活、商業和全球經濟》的研究報告，報告確認了將來12種新興技術， 而大數據是這其中需求技術的基石。

七、2014年5月，美國白宮發佈了2014年全球「大數據」白皮書的研究報告《大數據：抓住機遇，守護價值》。報告鼓勵使用數據推進社會進步。

 

四：大數據相關技術發展

大數據技術發展能夠分爲六個方向：

一、在大數據採集與預處理方向。這個方向最多見的問題是數據的多源和多樣性，致使數據的質量存在差別，影響到數據的可用性。

二、大數據存儲與管理方向。這個方向最多見的挑戰是存儲規模大，存儲管理複雜，須要兼顧結構化、非結構化和半結構化的數據。分佈式文件系統和分佈式數據庫相關技術的發展正在有效的解決這些問題。其中大數據索引和查詢技術、實時及流式大數據存儲與處理的發展。

三、大數據計算模式方向。現在出現了多種典型的計算模式，包括大數據查詢分析計算、批處理計算，流式計算、迭代計算、圖計算、內存計算。

四、大數據分析與挖掘方向。在數據類迅速膨脹的同時，還要進行深度的數據分析和挖掘，所以愈來愈多的大數據分析工具和產品應運而生。

 

五、大數據可視化分析方向。經過可視化方式來幫助人們探索和解釋複雜的數據，有利於決策者挖掘數據的商業價值，進而有助於大數據的發展。

 

六、大數據安全方向。當咱們在用大數據分析和數據挖掘獲取商業價值的時候，黑客極可能在向咱們攻擊，收集有用的信息。經過文件訪問控制來限制呈現對數據的操做、基礎設備加密、匿名化保護技術和加密保護等技術正在最大程度的保護數據安全。