扣丁學堂大數據培訓簡述Hadoop以後大數據的將來在誰的身上

現在想要學習大數據開發的人有不少，因此有很多的小夥伴參加大數據培訓學習大數據，本篇文章小編就給讀者們探討一下Hadoop以後大數據的將來在誰的身上，對大數據開發感興趣的小夥伴們就隨小編來了解一下吧。

在實時數據世界裏，爲何咱們還這麼執着於Hadoop? 根據451 Research調查數據顯示，圍繞批處理架構的Hadoop仍然是大數據的表明技術，儘管其聲譽仍然超過實際部署狀況。下面咱們來具體瞭解一下。

批處理不是重點

Cloudera的Doug Cutting是一個很是聰明的人，也是開源開發人員，Hadoop、Lucene等大數據工具的開發都有他的功勞。

雖然Cutting認可實時流媒體技術的重要性，但他並無否定面向批處理的Hadoop的價值，他表示：

並非由於咱們以爲批處理是最好的，因此Hadoop圍繞批處理而構建。批處理(特別是MapReduce)很天然是第一步，由於它相對容易部署，並提供很重要的價值。在Hadoop以前，沒有辦法使用開源軟件在商品硬件存儲和處理千兆字節。Hadoop的MapReduce是很大的進步。

咱們很難說清楚大數據的商品化對這個世界的重要性。這並非說在Hadoop以前咱們沒有存儲和分析大量數據，而是Hadoop讓咱們很是廉價地實現這個過程。

總之，Hadoop民主化了大數據。

轉向流數據?

然而，Hadoop並無讓大數據分析變得容易。正如DataStax首席佈道者Patrick McFadin表示，從企業數據挖掘價值並無那麼簡單：

咱們都據說過存儲和分析PB級數據的投資回報率的問題。谷歌、雅虎和Facebook都在從中創造驚人的價值，而大部分企業都在試圖研究如何分析全部數據，第一：收集全部數據;第二：……;第三：利潤!

在數據收集和利潤之間有不少麻煩的步驟。隨着企業試圖加快對實時數據的分析能力，新技術爲他們提供了可能。

McFadin發現了這個新大數據堆棧的關鍵要素。首先是一個排隊系統，Kafka、RabbitMQ和Kinesis等。而後是流處理層，這可能包括Storm、Spark Streaming或者Samza。對於高速存儲，企業常常轉向Cassandra、HBase、MongoDB或者MySQL等關係型數據庫。

最有趣的是批處理仍然有用武之地。McFadin表示，批處理如今可用於處理，即彙總和更深刻的分析。批處理和實時的融合被稱爲「Lambda架構」，這涉及讓三個元素和諧地共處：批處理、速度和服務。

換句話說，批處理仍然有用。

淘汰批處理

但並非每一個人都贊成。Zoomdata公司首席執行官和聯合創始人Justin Langseth認爲Lambda是「沒必要要的」，並稱，「如今有端到端工具能夠從採購、運輸、存儲到分析和可視化來處理數據，而不須要批處理」。

在他看來，批處理是大數據過去的遺留物：

實時數據顯然最好應該做爲流來處理，並且還能夠加載歷史數據，正如你的DVR能夠加載電影《飄》或者上週的電視節目《美國偶像》到你的電視。這種區別很重要，Zoomdata認爲將數據做爲流來分析能夠增長可擴展性和靈活性，而不管數據是實時仍是歷史數據。

然而，超越可擴展性和靈活性好處的多是將批處理從大數據過程移除所帶來的簡單性。Langseth認爲，「當你不須要擔憂批處理窗口以及從批處理故障中恢復時，這能夠極大地簡化大數據架構。」

流分析取代Hadoop?

Cutting稱，尚未那麼快。

Cutting認爲將來Hadoop等技術並不會徹底被淘汰，流分析會得以發展，Cloudera的Enterprise Data Hub也是同樣。事實上，他不認爲會普遍轉向流分析，而是爲你們帶來了又一種選擇。

更有趣的是，大數據的大爆炸會讓行業催生出一些好方法來應對數據處理。

我認爲咱們不會再那麼頻繁地看到Spark這樣的主要技術增長，隨着時間的推移，咱們將會標準化這些工具，爲大多數人提供功能來知足其大數據應用需求。Hadoop帶來了技術爆炸，但咱們可能會進入比較正常的演化過程，在各行業普遍使用這些技術。

DataStax社區經理Scott Hirleman贊成說：「批處理並不會消失，老是會須要對大量數據的大規模分析。」如今你們對流分析有極大的興趣，但稱如今還不清楚這種趨勢對大數據計劃的影響。

總之，流分析徹底是關於「和」，而不是「或者」，這是對圍繞批處理系統(例如Hadoop)的很好的補充，但這確定不會徹底取代Hadoop。

想要了解更多關於大數據開發方面內容的小夥伴，請關注扣丁學堂大數據培訓官網、微信等平臺，扣丁學堂IT職業在線學習教育有專業的大數據講師爲您指導，此外扣丁學堂老師精心推出的大數據視頻教程定能讓你快速掌握大數據從入門到精通開發實戰技能。