資源調度器調研

場景描述： 異步觸發和Crontab觸發

YARN(Yet Another Resource Negotiator)Hadoop 資源管理器

主要構成： RM(ResourceManager)是一個全局的資源管理器，負責整個系統的資源管理和分配。它主要由兩個組件構成：調度器（Scheduler）和應用程序管理器（Applications Manager，ASM）。 調度器根據容量、隊列等限制條件，將系統中的資源分配給各個正在運行的應用程序。 應用程序管理器負責管理整個系統中全部應用程序，包括應用程序提交、與調度器協商資源以啓動ApplicationMaster、監控ApplicationMaster運行狀態並在失敗時從新啓動它等。 NodeManager（NM）NM是每一個節點上的資源和任務管理器，一方面，它會定時地向RM彙報本節點上的資源使用狀況和各個Container的運行狀態；另外一方面，它接收並處理來自AM的Container啓動/中止等各類請求。 Container Container是YARN中的資源抽象，它封裝了某個節點上的多維度資源，如內存、CPU、磁盤、網絡等。