Hadoop創始人寄語2017

導讀	五種讓開源項目成功的方法搭建一個開源平臺，組織就能利用雲供應商套利來下降成本因爲Doug Cutting和Apache軟件基金會有多年的合做關係，因而常常被問到「什麼是開源技術的將來？」。Doug的迴應通常要麼是「我不知道」，要麼是「有無窮的可能性」。

在過去的一年中，咱們已經看到開源技術強勢的發展成了企業的技術主流。誰會想到十年前Doug在Hadoop所作的工做會影響到那麼多的行業，從製造到電信，再到金融等等。它們都掌握了開源生態系統的力量，不只改善了客戶的體驗，變得有創新性並得到了利潤增加，並且支持對社會有更大利益的工做，好比經過基因組研究、精密醫學等項目來阻止人口販賣，這僅僅是一小部分例子。

有人會很好奇如何開始着手進行開源工做，以及從不斷變化的生態系統裏指望能獲得什麼，下面Doug列出5個小貼士：

1. 擁抱開源的不斷改變和演進

不斷地變化，這是每個剛接觸開源技術的人須要學習的第一課，也是開源有別於傳統軟件的最大不一樣之處。開源的本質是易變、靈活，它的新項目經常起源於一些特別的用例。這種動態的循環促使產品變得更好、更快。所以，公司若是想從開源得到徹底的好處，他們必須對技術轉變保持開放的心態。Spark和MapReduce的辯論就完美的體現了這點的重要性：

事實上，人們在構建新的應用時，MapReduce用得愈來愈少，而Spark成爲他們默認的數據處理引擎。MapReduce正逐漸成爲Hive、Pig的底層引擎，這並不意味着它過期了。它還會爲現存應用很好地工做不少年，並且對某些大規模批量加載來講仍然是卓越的工具。這一趨勢遵循開源技術的天然演進：MapReduce是開源數據生態系統的1.0引擎，Spark是2.0，而某一天會出現3.0讓Spark成爲歷史。

2. 當引入一個新技術棧時，從小開始、由上而下

先不去考慮要構建、部署什麼樣的解決方案，咱們如今有了不少通用數據平臺和不少工具，它們能靈活地組合在一塊兒去作搜索、流處理、機器學習還有更多事情。這些工做須要的不只僅是一套不一樣的技能，並且還須要管理方式、組織結構等在文化上的轉變。

爲此，重要的是要得到組織內高層的支持，並讓數據管理列入董事會層面的一項重點議題。同時，建議拿一些新的應用來逐步創建一個新文化，而不是要取代全部的一切，這樣可讓你們經過一個個具體的用例來適應這個變化。

3. 仔細挑選開源軟件以免雲供應商捆綁

隨着使用雲計算的企業組織和產業愈來愈多，應該考慮到開源軟件不只會帶來愈來愈好的健壯性、可擴展性和安全性，並且也能夠幫助他們避免被雲供應商捆綁。經過開源平臺的構建，組織能夠採用雲供應商套利以下降成本，可使用不一樣地域的不一樣雲，或者基於雲和內部部署的混合方式。

事實上，開源平臺已經證實了本身的技術優越性，2017年也許會取得更多的落地。大量的機構經過開源項目進行合做，單一的供應商要去競爭是很困難的。例如，如今那些開源數據系統在性能和靈活性上就處於領先地位，而且改進得更加迅速。

4. 對求職者來講，開源生態環境裏要關注森林，而不是樹木

IT領域的求職者，不論是編程仍是數據科學，不該該僅僅專一於掌握個別技術，而應該關注理解開源數據生態系統各個組成部分的最佳利用，以及如何把它們鏈接起來解決問題。這種上層建築的理解是企業在技術創新中最有價值的技能。隨着新技術的到來，相當重要的是瞭解它們的適應力如何、它們能取代什麼、它們能作到什麼。

5. 在技能缺口中尋找機會

大數據的技能缺口將在明年保持相對穩定，但這不該該成爲人們採用Hadoop以及其它開源技術的阻礙。大多數人都知道，當新的技術被創造出來並爭奪用戶時，它們對外界而言是很陌生的。只有當一個特定類型的軟件成爲某個規範的成熟而標準的一部分，纔會開始出現大量熟練使用它的人，而即便如此仍然會存在技能缺口。只有當咱們再也不對技術棧作大的改進時，纔會消除這種缺口，不過Doug不認爲咱們會但願這樣作。簡而言之，技能缺口是影響平臺變革速度的主要因素之一，也是即未來臨的創新的標誌。

在將來的幾年內，開源生態系統將繼續擴大，也會不斷地在有實際意義的項目裏實施。它匯聚了今天最聰明的頭腦，在通力合做下，以十年前不可能的速度推動軟件開發。若是你想改善現有技術，或者想支持打破傳統的觀念，能夠加入這裏。Doug鼓勵每一個人都有興趣參與進來，也鼓勵經驗豐富的人由於這個緣由繼續堅持下去。

原文來自：http://www.linuxeden.com/html/news/20170112/167746.html

本文地址：http://www.linuxprobe.com/hadoop-initiate.html