我對大數據的見解

我對大數據的見解

2015年02月28日 17:03:59 我愛小源 閱讀數：4900

大數據

 

大數據(bigdata)，或稱巨量資料，指的是所涉及的資料量規模巨大到沒法透過目前主流軟件工具，在合理時間內達到擷取、管理、處理、並整理成爲幫助企業經營決策更積極目的的資訊。 大數據的4V特色：Volume（大量）、Velocity（高速）、Variety（多樣）、Veracity（精確）。大數據最核心的價值就是在於對於海量數據進行存儲和分析。

大數據一般用來形容一個公司創造的大量非結構化和半結構化數據，這些數據在下載到關係型數據庫用於分析時會花費過多時間和金錢。大數據分析常和雲計算聯繫到一塊兒，由於實時的大型數據集分析須要像MapReduce同樣的框架來向數10、數百或甚至數千的電腦分配工做。大數據須要特殊的技術，以有效地處理大量的容忍通過時間內的數據。適用於大數據的技術，包括大規模並行處理（MPP）數據庫、數據挖掘電網、分佈式文件系統、分佈式數據庫、雲計算平臺、互聯網和可擴展的存儲系統。從某種程度上說，大數據是數據分析的前沿技術。簡言之，從各類各樣類型的數據中，快速得到有價值信息的能力，就是大數據技術。

當前用於分析大數據的工具主要有Hadoop。Hadoop旨在經過一個高度可擴展的分佈式批量處理系統，對大型數據集進行掃描，以產生其結果。Hadoop項目包括三部分，分別是Hadoop Distributed FileSystem（HDFS）、HadoopMapReduce編程模型，以及Hadoop Common。不適合使用Hadoop來解決的問題：一、最最重要一點，Hadoop能解決的問題必須是能夠MapReduce的；二、數據結構不知足key-value這樣的模式的；三、Hadoop不適合用來處理大批量的小文件；四、Hadoop不適合用來處理須要及時響應的任務，高併發請求的任務。

將來，數據可能成爲最大的交易商品。但數據量大並不能算是大數據，大數據的特徵是數據量大、數據種類多、非標準化數據的價值最大化。所以，大數據的價值是經過數據共享、交叉複用後獲取最大的數據價值。在他看來，將來大數據將會如基礎設施同樣，有數據提供方、管理者、監管者，數據的交叉複用將大數據變成一大產業。據統計，大數據所造成的市場規模在51億美圓左右，而到2017年，此數據預計會上漲到530億美圓。

 

我對大數據和與雲計算的見解：

 

雲計算是一種按使用量付費的模式，這種模式提供可用的、便捷的、按需的網絡訪問， 進入可配置的計算資源共享池（資源包括網絡，服務器，存儲，應用軟件，服務），這些資源可以被快速提供，只需投入不多的管理工做，或與服務供應商進行不多的交互，是分佈式計算、並行計算、效用計算、網絡存儲、虛擬化、負載均衡等傳統計算機和網絡技術發展融合的產物。

大數據挖掘常和雲計算聯繫到一塊兒，由於實時的大型數據集分析須要像MapReduce同樣的框架來向數10、數百或甚至數千的電腦分配工做。只有在雲計算產業已經規模化發展 3 年以後，分佈式結構計算纔給大數據提供了記錄的載體。能夠說，雲計算使大數據變成可能，打個比方，雲計算充當了工業革命時期的發動機的角色，而大數據則是電,大數據是要依靠雲計算技術來進行存儲和計算的。目前，雲計算已經普及併成爲IT行業主流技術，其實質是在計算量愈來愈大、數據愈來愈多、愈來愈動態、愈來愈實時的需求背景下被催生出來的一種基礎架構和商業模式。雲計算爲大數據提供了能夠彈性擴展,相對便宜的存儲空間和計算資源，使得中小企業也能夠像亞馬遜同樣經過雲計算來完成大數據分析。大數據技術是雲計算技術的延伸。大數據技術涵蓋了從數據的海量存儲、處理到應用多方面的技術，包括海量分佈式文件系統、並行計算框架、NoSQL數據庫、實時流數據處理以及智能分析技術如模式識別、天然語言理解、應用知識庫等等。

大數據和雲計算確定是將來的發展所向，因此咱們要學好不少算法知識才能彌補咱們在編程過程當中的不足之處。

基於雲計算的數據挖掘的優點 

（1）因爲數據挖掘處理的數據足海量的，要從海量的數據中挖掘出理解的知識，大規模的數據挖掘足必須的。而且隨着互聯網上數據的快速增加，數據挖掘的任務遠比搜索任務要複雜，致使了在挖掘過程當中須要有很好的開發環境和應用環境。這種狀況下，基於雲計算的方式是比較合適的。 

（2）基於雲計算實現低成本分佈式並行計算環境，所以，企業的數據處理成本大大的下降，同時也再也不依存於高性能的機器。 

（3）基於雲計算的數據挖掘開發方便，屏蔽了底層。在並行化條件下。雲計算可以利用原有設備提升對大規模數據的處理能力和速度，既保證了容錯性，也增長結點。

總結

咱們在學習和了解大數據、雲計算等過程當中，仍是要考慮一些方法來實現。咱們有大數據，咱們要從這些數據中獲得咱們想要的、對咱們有用的信息，想應對大數據時代，數據挖掘這門課就是少不了。簡單點來講，大數據是礦石，數據挖掘是一個挖礦的過程，算法是工具、方法，至關於你挖礦用的鐵鍬啊，鋤頭啊等等，而云計算，就是可讓你更輕鬆、更快地挖礦。大數據不是忽悠，關鍵是要可以發現其中的價值，而數據挖掘的算法、雲計算和並行計算就是發現其中價值的工具。這就是我所瞭解的大數據和雲計算。---------------------