Hadoop的升級和從新設計其餘編程範式

阿倫穆爾蒂，雅虎Hadoop的地圖，下降開發團隊負責人最近宣佈，並提出了從新設計核心的地圖架構Hadoop的減小，以便更容易升級，大集羣，快速恢復，並支持除了編程範式到地圖，減小。做者對地圖的減小Hadoop的核心從新設計分割成一個資源管理器，支持多種模式的集羣計算引擎，使得地圖的減小用戶庫，容許一個組織運行圖，減小相同的代碼的多個版本羣集。新的設計是很是類似的開源Mesos集羣管理項目 - 包括雅虎和Mesos上的差別和機會發表意見。Silverlight的4更新提升了網絡延遲，內存使用狀況

新方法的主要好處是：

    *可擴展性：支持16芯6000機集羣，48 GB的RAM和48 TB的磁盤，100K的併發任務，和10K兼職
    *供貨狀況：目前工做Tracker是一個單點故障，要求中止和升級，提高整個集羣
    *敏捷：新的設計使得地圖的減小用戶庫，讓正在運行的做業，要求在同一個羣集的不一樣版本
    *較低的延遲：新的設計應容許更快的響應，尤爲是規模較小的任務，
    *更好地利用：一個更爲複雜的資源調度模型能夠減小浪費資源，不爭
    *替代編程模型：穆爾蒂指出，有一個爲其餘模式，如在雅虎的MPI，不少需求

這個從新設計的核心元素是分裂成一個通用的集羣資源管理系統的責任，併爲地圖的減小，或任何其餘單獨的應用程序編程模型的主人。這將替換做業跟蹤和追蹤任務。資源管理系統由如下羣集範圍控制器：女裝品牌有哪些

    *一個ResourceManager，可實現集羣範圍內，如內存，CPU，磁盤，網絡等資源調度
    *一個Scheduler插件，它能夠實現的ResourceManager不一樣的政策（相似於目前的調度程序的API，但使用不一樣的接口，須要新的實現）
    *每個ApplicationMaster應用程序（如地圖，減小編程）的請求的資源，跟蹤進度，處理故障，並能保持狀態有關計算