大數據導論之爲什麼須要引入大數據

1、引言

　　最近各類客戶諮詢項目中，每每涉及大數據引入必要性和價值意義的深層次挖掘，客戶有數據，有平臺，可是不知到底要不要上大數據，爲什麼要上大數據和大數據能夠帶來哪些價值和意義。本文關於大數據的必要性進行闡述，來源實際項目，算是分享吧。

2、突破技術瓶頸

　　

　　互聯網技術催生了大數據時代的來臨，大數據時代的數據形態有四大特色：首先數據體量巨大，非結構化數據的超大規模和增加佔總數據量的80％至90％，比結構化數據增加快10到50倍；其次、大數據的異構和多樣性，好比圖片、新聞、博客、微博、微信等，比大更重要的是數據的複雜性，有時甚至大數據中的小數據如一條微博就具備顛覆性的價值；第三，價值密度低，大量的不相關信息，須要沙裏淘金；第四，傳播速度快，所以，須要實時分析而非批量式分析。

　　在大數據時代，面對如此海量快速的信息，純人工監測互聯網已經不可行了。自動化輿情軟件成爲大數據環境下輿情監測和分析的引擎。監測輿情能夠設立一些關鍵詞，首先要與本身機構相關，能夠包括競爭者或者是合做夥伴，而後要放在特定網絡媒體進行蒐集。全部「信息碎片」蒐集完以後，咱們開始聚合信息，判斷哪些和產品相關，哪些跟區域相關，哪些跟本身相關。把這些信息進行精確地採集和過濾、煉化分析，包括傳播統計和分析(媒介分析、主體傳播分佈、傳播路徑分析、傳播源頭追蹤)、敏感(負面)輿情、輿情信息傳播趨勢分析，預判所收集到輿情信息的將來走勢。在此基礎上生成輿情簡報，輿情簡報由系統自動生成，以日或周爲單位，對本階段監測到的輿情進行統計和分析，包括輿情分佈、熱點輿情排行、負面輿情分析、正面輿情排行等狀況。

　　大數據時代自身的特色決定了咱們既面臨數據體量巨大的存儲壓力，同時面臨海量數據信息過濾，數據加工、數據分析和平臺運算瓶頸。要想突破傳統技術瓶頸的約束，咱們必須引入大數據技術。

3、擺脫成本枷鎖

　　

　　基於傳統模式的輿情分析和歷史數據存儲，是創建在高性能服務器硬件和昂貴的關係型數據基礎之上的。一方面硬件技術掌握在幾大IT巨頭手中，服務器的性能是以高昂的成本爲支撐的；另一方面硬件基礎之上操做系統、應用軟件和關係型數據庫一樣掌握在幾大巨頭手中，其價格一樣不菲。此外規模的擴展、軟件的升級和每一年的服務費用也是很是昂貴。

　　基於互聯網技術發展起來的大數據，以開源框架Hadoop、HBase爲基礎，以Hive、Sqoop、Pig、Flume等軟件爲工具，創建在X86-PC服務器和開源Linux操做系統之上。一方面硬件成本得以下降、另一方面再無須爲操做系統和應用軟件支付高昂的Licence費用。能夠說大數據技術將使我所在很大程度上擺脫傳統IT廠商鉅額的成本依賴。

4、促進業務創新

　　

　　這部分涉及具體應用，視行業而定。在此製做一個方向說明：大數據的應用能夠衍生新的服務，新的產品。

　　大數據實施方案諮詢和技術交流羣：293503507，敬請關注。