Mesos誕生於UC Berkeley的一個研究項目,現已成爲Apache Incubator中的項目。Mesos計算框架一個集羣管理器,提供了有效的、跨分佈式應用或框架的資源隔離和共享,能夠運行Hadoop、MPI、Hypertable、Spark。使ZooKeeper實現容錯複製,使用Linux Containers來隔離任務,支持多種資源計劃分配。linux
整體架構git
Apache Mesos由四個組件組成,分別是Mesos-master,mesos-slave,framework和executor。docker
mesos中的基本術語解釋服務器
1架構
Mesos-master:是整個系統的核心,負責管理接入mesos的各個framework(由frameworks_manager管理)和slave(由slaves_manager管理),並將slave上的資源按照某種策略分配給framework(由獨立插拔模塊Allocator管理)。框架
2ssh
Mesos-slave:負責接收並執行來自mesos-master的命令、管理節點上的mesos-task,併爲各個task分配資源。mesos-slave將本身的資源量發送給mesos-master,由mesos-master中的Allocator模塊決定將資源分配給哪一個framework,當前考慮的資源有CPU和內存兩種,也就是說,mesos-slave會將CPU個數和內存量發送給mesos-master,而用戶提交做業時,須要指定每一個任務須要的CPU個數和內存量,這樣,當任務運行時,mesos-slave會將任務放到包含固定資源的linux container中運行,以達到資源隔離的效果。curl
3分佈式
Framework:是指外部的計算框架,如Hadoop,Mesos等,這些計算框架可經過註冊的方式接入mesos,以便mesos進行統一管理和資源分配。Mesos要求可接入的框架必須有一個調度器模塊,該調度器負責框架內部的任務調度。當一個framework想要接入mesos時,須要修改本身的調度器,以便向mesos註冊,並獲取mesos分配給本身的資源, 這樣再由本身的調度器將這些資源分配給框架中的任務,也就是說,整個mesos系統採用了雙層調度框架oop
4
Executor:執行器,安裝到mesos-slave上,用於啓動計算框架中的task。
安裝部署
1
部署環境介紹
內核版本:
[root@ctn-7-11 ~]# uname -a
Linux ctn-7-11.ptmind.com 3.10.0-327.4.4.el7.x86_64 #1 SMP Tue Jan 5 16:07:00 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux
系統版本:
[root@ctn-7-11 ~]# more /etc/redhat-release
CentOS Linux release 7.2.1511 (Core)
docker版本:
[root@ctn-7-13 ~]# docker --version
Docker version 1.10.3, build 20f81dd
集羣全部主機添加主機名
[root@ctn-7-12 ~]# more /etc/hosts
---略---
172.16.7.12 ctn-7-12.ptmind.com ctn-7-12
172.16.7.13 ctn-7-13.ptmind.com ctn-7-13
172.16.7.14 ctn-7-14.ptmind.com ctn-7-14
爲配置方便講服務器ssh免密碼登錄打通
[root@ctn-7-11 workspace]# for ip in $(cat /workspace/mesoslist);do echo ------$ip-----;ssh root@$ip hostname;done
------172.16.7.11-----
ctn-7-11.ptmind.com
------172.16.7.12-----
ctn-7-12.ptmind.com
------172.16.7.13-----
ctn-7-13.ptmind.com
------172.16.7.14-----
ctn-7-14.ptmind.com
1
安裝前準備
關閉防火牆
sudo systemctl stop firewalld
sudo systemctl disable firewalld
安裝docker
sudo yum update
curl -sSL https://get.docker.com/ | sh
安裝經常使用軟件包
yum install git lrzsz wget elinks nc -y
添加yum源 (全部主機,安裝其中一個便可)
rpm -Uvh http://repos.mesosphere.io/el...
rpm -Uvh http://repos.mesosphere.io/el...
rpm -Uvh http://repos.mesosphere.io/el...
3
集羣服務部署規劃
服務器IP地址主機名安裝服務
172.16.7.12ctn-7-12.ptmind.com mesos-master 、zookeeper、mesos-slave 、chronos
172.16.7.13ctn-7-13.ptmind.com mesos-master 、zookeeper、mesos-slave 、
172.16.7.14ctn-7-14.ptmind.com mesos-master 、zookeeper、mesos-slave、marathon
更多內容正在更新中,銀盾泰安將持續爲您發佈最新最有用的資訊,敬請期待!