毋庸置疑,現如今是屬於大數據(Big Data)的,革命性的時代。從社交媒體到企業,每時每刻都在產生大量的數據。無所作爲,從而把這樣的寶藏白白浪費掉是及其愚蠢的。企業已經學會了收集大數據以獲取更高的利潤,並提供更好的服務以及更深入地瞭解其目標客戶。
大數據主要是指企業中日常生成的,大量的有組織以及無組織的數據。在這種情況下,組織如何處理這些數據,與數據量是無關的。對大數據分析可以產生改善戰略商務決策(Strategic business decision-making)的洞察力。
如前所述,大數據的價值不在於您擁有多少信息,而在於您要如何利用它。您可以從任何一個點收集數據(並對其進行檢查),以找到下面四種情況的解決方案:
當您耗費大量精力分析聚合大數據時,下面這些業務關聯的任務就可能實現:
大數據可以分爲以下三大類。
一些共同特徵如圖 2 所示。
大數據架構包含一致的、可擴展的,以及完全計算機化的數據管道(Data pipelines)。構建這種基礎架構需要具有深入瞭解堆中的每一層的能力,即從集羣設計(Cluster design)開始,直到設置負責處理數據的頂級鏈(Top chain)。圖 3 展示了堆棧的複雜性以及數據管道工程如何觸及其每個部分。
在圖 3 中,數據管道收集原始數據並將其轉化爲有價值的東西。同時,大數據工程師必須計劃好數據會發生什麼情況,數據存儲在集羣中的方式,內部許可的訪問方式,用於處理數據的設備,以及提供給外界訪問的模式。那些設計和實現這種架構的人被稱爲大數據工程師。
衆所周知,大數據的主題非常廣泛,並且滲透到了許多新技術的發展中。以下對一些技術的概述旨在幫助用戶對大數據進行改造。
1. MapReduce(映射化簡):這使得任務的實現具有能夠跨越數千臺服務器的可擴展性。
2. Hadoop:這是 MapReduce 最令人欽佩的執行方式,它是一個完全開源的處理大數據的平臺。Hadoop 足夠靈活,它能夠處理多種數據源,例如聚合數據以進行大規模處理,從數據庫讀取數據等。
3. Hive:這是一個類似 SQL 的鏈接,允許 BI(商業智能) 應用程序在 Hadoop 集羣旁運行查詢。這是由 Facebook 開發的,它已經被開源了一段時間,並且它還是 Hadoop 框架的更高層次的概念。此外,它允許每個人對存儲在 Hadoop 集羣中的數據進行查詢,並改進了 Hadoop 的功能,使其成爲了 BI 用戶的理想選擇。
處理大數據的能力具有多種益處。
雖然很容易陷入各種關於大數據的炒作之中,但它未得到充分利用的原因之一就是,在使用到它的技術中仍有許多挑戰需要解決。其中一些挑戰如下:
大數據的可訪問性(Accessibility),便宜的硬件產品,以及新的信息管理和分析軟件聚合在一起,在數據分析的歷史中創造了獨特的時刻。我們現在有能力快速且經濟高效地審查這些驚人的數據集,這是有史以來的第一次。這種能力象徵着真正的飛躍,同時也象徵着一個在工作效率、收入和成功方面大幅進步的機會。
http://www.q-wei.cn/ http://news.q-wei.cn/ http://www.yichaonet.cn/ http://news.yichaonet.cn/ http://www.vxjezfv.cn/ http://news.vxjezfv.cn/ http://www.xibiyo.com.cn/ http://news.xibiyo.com.cn/ http://www.9208361.org.cn/ http://news.9208361.org.cn/ http://www.9111316.cn/ http://news.9111316.cn/ http://www.bluelf.com.cn/ http://news.bluelf.com.cn/ http://www.qqq136com.cn/ http://news.qqq136com.cn/ http://www.2819w.cn/ http://news.2819w.cn/ http://www.9019758.org.cn/ http://news.9019758.org.cn/ http://www.wydaogou.cn/ http://news.wydaogou.cn/ http://www.ralhys.cn/ http://news.ralhys.cn/