hadoop2.6.0彙總：新增功能最新編譯 32位、64位安裝、源碼包、API下載及部署文檔

時間 2019-12-10

標籤 hadoop2.6.0 hadoop 彙總新增功能最新編譯安裝源碼 api 下載部署文檔欄目 Hadoop 简体版

原文原文鏈接

本帖隱藏的內容

isn2

hadoop2.6-api
連接：http://pan.baidu.com/s/1pJLpmOz 密碼：7pma

hadoop2.6-eclipse插件
因爲hadoop eclipse插件跟eclipse版本有關係，最好本身編譯
Hadoop2.5 Eclipse插件製做、鏈接集羣視頻、及hadoop-eclipse-plugin-2.5.0插件下載

2、部署文檔

搭建hadoop2.6.0 HA及YARN HA

hadoop 2.6.0單節點-僞分佈式模式安裝

3、Apache Hadoop 2.6.0 新特性

Apache Hadoop 2.6.0發佈了，新的穩定版，發佈頻率和質量愈來愈高了，增長了不少東西，從安裝包的大小就能看出來，直接增長了50M，30%有木有。
下面看一下，2.6.0都有啥好東西。
Common：
1.    Hadoop Key Management Server（KMS）是一個基於HadoopKeyProvider API編寫的密鑰管理服務器。他提供了一個client和一個server組件，client和server之間基於HTTP協議使用REST API通訊。Client是一個KeyProvider的實現，使用KMS HTTP REST API與KMS交互。KMS和它的client有內置的安全機制，支持HTTP SPNEGO Kerberos認證和HTTPS安全傳輸。KMS是一個Java Web應用程序，運行在與Hadoop發行版綁定在一塊兒的預先配置好的Tomcat服務器上。
2.    Tracing
HDFS-5274增長了追蹤經過HDFS的請求的功能，此功能使用了開源的庫，HTrace。你們能夠看一下HTrace，功能很強大，Cloudera開源出來的。
HDFS：
1.    Transparent Encryption，HDFS實現了一個透明的，端到端的加密方式。一旦配置了加密，從HDFS讀出數據解密和寫入數據加密的過程對用戶應用程序代碼帶來講都是透明的。加密過程是端到端的，這意味着數據只能在客戶端被加密解密。HDFS歷來不存儲，也不訪問未加密的數據和數據加密密鑰。這樣知足了加密過程的兩個典型的需求：at-rest encryption（靜態加密，也就是說，數據持久化在像硬盤這樣的媒介上），in-transit encryption（在途加密，例如，當數據在網絡中傳輸的時候）。
2.    Storage SSD&& Memory。ArchivalStorage（檔案存儲器）是將計算能力與不斷增加的存儲能力分離。擁有高密度低成本的存儲可是計算能力較低的節點將變得可用，能夠在集羣中作冷存儲。增長更多的節點做爲冷存儲能夠提升集羣的存儲能力，跟集羣的計算能力無關。
MapReduce
這一部分主要是一些bug的修復和改進。增長了兩個新的新特，在2.5.2裏已經有所描述了。這裏在簡單看一下。
1.    ResourceManger Restart
2.    容許AM發送歷史事件信息到timeline server。
YARN
1.    NodeManager Restart：這個特性可使NodeManager在不丟失運行在節點中的活動的container的狀況下從新啓動。
2.    Docker Container Executor：DockerContainer Executor（DCE）容許YARN NodeManager在Docker container中啓動YARN container。用戶能夠指定他們想用來運行YARN container的Docker的鏡像。這些container提供了一個能夠自定義的軟件環境，用戶的代碼能夠運行在其中，與NodeManager運行的環境隔離。這些運行用戶代碼的container能夠包含應用程序須要的特定的庫，它們能夠擁有與NodeManager不一樣版本的Perl，Python甚至是Java。事實上，這些container能夠運行與NodeManager所在的OS不一樣版本的Linux。儘管YARN container必須定義運行Job所需的全部的環境和庫，可是NodeManager中的全部的東西都不會共享。
Docer爲YARN提供了一致和隔離兩種模式，一致模式下，全部的YARN container將擁有相同的軟件環境，在隔離模式下，無論物理機器安裝了什麼都不干擾。

4、發佈Apache Hadoop 2.6.0亮點——異構存儲及hadoop2.7.0展望

發佈Apache Hadoop 2.6.0
——異構存儲，長時間運行的服務與滾動升級支持html

我很高興地宣佈，在Apache的Hadoop社區已經發布的Apache Hadoop的2.6.0:http://markmail.org/message/gv75qf3orlimn6kt！node

特別是，咱們很高興在此版本中相關的三個主要片：異構存儲在HDFS使用SSD和內存層，支持長時間運行在YARN服務和滾動升級，將升級您的集羣軟件，而後從新啓動升級的節點而無需關閉羣集或丟失正在進行的工做。YARN做爲其架構中心，Hadoop的不斷吸引新的引擎在數據平臺中運行，做爲組織想要在一個單一的存儲庫高效地存儲數據，並與它同時以不一樣的方式進行交互。apache

很是感謝全部的貢獻者和提交這些人所合做過這個版本，共有近900個 JIRA問題在四個方面解決的：
•Hadoop通用：231個 JIRA問題解決
•Hadoop的HDFS：305個 JIRA問題解決
•Hadoop的YARN：290個 JIRA問題解決
•Hadoop的MapReduce的：70個 JIRA問題解決ubuntu

Apache Hadoop2.6.0的亮點api

如下是有關的最重要的特徵的一些細節。對於功能，改進和bug修復的完整列表，請參閱發行說明：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/releasenotes.html。安全

增強支持異構存儲層的HDFS服務器

管理員能夠在一個限定的Datanode跨磁盤存儲層，以及應用程序可利用的API將數據存儲到這些不一樣的存儲層。這意味着管理員能夠優化他們的應用程序經過使用Hadoop運行：
•在SSD存儲層以提升讀/寫延遲
•內存存儲層進行快速讀/寫要麼臨時數據或故障的應用程序（如星火，TEZ等）
•歸檔存儲層，以提升存儲效率。網絡

支持長時間運行的服務在YARN架構

Apache Hadoop2.6.0包括加強了核心Apache Hadoop YARN平臺，使長期存在的服務（如Apache Storm，Apache Samza，Apache Kafka或Apache HBase），能夠在YARN中運行，並充分利用其優點的容錯，安全性和易維護性。

Apache Hadoop最初架構，支持批量處理數據。但有些應用「永遠在線」，隨時準備處理輸入數據。例如，Apache Storm必須準備在一天中的任什麼時候間實時處理數據流，在一年中的任何一天。

用Hadoop2.6.0，集羣如今能夠利用相同的基礎設施安排，執行和管理全部期限的多個工做負載。長住服務，如 Storm和HBase能夠和平共處的一塊兒是在特定的時間點（如Apache Hive或Apache Pig），用於特設工做應用程序。

滾動升級在YARN工做，保留從新啓動

新的工做，維護重啓功能可讓應用程序保持其完成和正在進行的國家，在一個節點故障或重啓的臉。 YARN如今能夠提供滾動以最小的服務質量降低用於運行應用程序的升級支持。已完成或正在進行中的應用工做節點重啓過程當中保持不變，進度回升，而沒必要從頭開始從新啓動全部任務。

展望Apache Hadoop2.7版本

爲ApacheHadoop的下一個版本的主要驅動力正在向JDK7+即咱們如今要求使用JDK7（HADOOP-10530：https://issues.apache.org/jira/browse/HADOOP-10530）的ApacheHadoop的前進，也支持JDK8做爲一個運行時（HADOOP-11090：https://issues.apache.org/jira/browse/HADOOP-11090）。

在ApacheHadoop社區開展的其餘重要活動有：
•在HDFS進行糾刪碼支持 -  HDFS-7285：https://issues.apache.org/jira/browse/HDFS-7285
•支持磁盤YARN調度和隔離的資源 -  YARN-2139：https://issues.apache.org/jira/browse/YARN-2139
•容器資源委派延長YARN資源管理 -  YARN-1488：https://issues.apache.org/jira/browse/YARN-1488

與往常同樣，你能夠沿着發展，經過跟蹤路線圖的Wiki：http://wiki.apache.org/hadoop/Roadmap 的Apache Hadoop跟隨。

相關標籤/搜索

位及