100個容器周邊項目，點亮你的容器集羣技能樹

大規模的容器技術運用歷來不是一項獨立工程，而是一個聚集虛擬化技術、容器編排、任務調度、操做系統、容器倉庫、跨節點網絡、分佈式存儲、動態擴縮、負載均衡、日誌監控、故障自恢復等系統性難題的複雜有機體。隨着Docker的誕生和Google等互聯網公司的推波助瀾，這個領域出現了一大批優秀的開源項目，它們在簡化容器技術使用成本的同時，也常常使得剛剛接觸容器時間不太長的開發者和企業用戶感到不知所措。

將知識分類是梳理零散信息的一種有效方式。對於容器技術的生態圈來講，其中涉及領域衆多，有的項目橫跨多個細分領域，有的項目則是針對特定場景需求定製的，難以對其功能類型作精肯定義。不過，若僅考慮通用領域裏的相關產品和工具，大體來講能夠劃分紅14種主要類別。

如下將圍繞容器生態，分別舉例介紹這些類別中的典型開源項目，以及部分雖未開源但比較經常使用的100個周邊產品。

1. 容器引擎

容器引擎是容器集羣生態圈的核心部分，它是與內核Namespace和CGroup等功能直接交互，並提供相應API使得外部可以與之集成的工具或服務。Docker無疑是目前爲止最成功、普遍最使用的容器引擎之一。實際上從1.12版本之後，Docker的容器化功能已經由獨立的項目RunC來實現，但Docker仍做爲一個開源產品爲用戶提供完整的容器化解決方案。此外，社區中還有許多容器引擎項目，例如：

• 001. Docker：https://www.docker.com

• 002. Rkt：https://coreos.com/rkt

• 003. Systemd-nspawn：https://www.freedesktop.org/wiki/Software/systemd

• 004. Hyper：https://hyper.sh

• 005. Garden：https://github.com/cloudfoundry/garden

• 006. LXC：https://linuxcontainers.org 

• 007. Photon：https://github.com/vmware/photon

• 008. Vagga：https://github.com/tailhook/vagga

• 009. gVisor：https://github.com/google/gvisor

• 010. Pouch：https://github.com/alibaba/pouch

這些項目只是衆多支持不一樣平臺和具備不一樣特性的容器引擎的冰山一角。例如Google曾經主導的lmctfy（http://lmctfy.io/）項目也是個十分優秀的容器引擎，然而該項目自2015年之後就再也不被維護了。而最近Google剛剛開源的gVisor則是該領域中的新秀。另外值得一說的是，Hyper採用虛擬機的方式對環境進行隔離，並非一種基於容器的隔離方案，但它能很好地與Docker或Kubernetes等容器集羣技術相結合，取代其環境隔離的功能，所以也歸屬此列。

2. 監控和數據收集

因爲容器基於內核的特殊隔離方式，對容器性能和狀態的監控與虛擬機存在一些差異。傳統的虛擬機監控工具，例如Nagios和Zabbix等，對容器監控的原生支持並不十分易用。而一些新起的開源項目對這種場景具備更友好的體驗，例如：

• 011. cAdvisor：https://github.com/google/cadvisor

• 012. Sysdig：http://sysdig.org

• 013. Prometheus：https://prometheus.io

• 014. TICK-Stack：https://influxdata.com

• 015. Docker-Alertd：https://github.com/deltaskelta/docker-alertd

• 016. Grafana：https://grafana.com

其中的TICK-Stack指的是Influxdata推出的Telegraf、InfluxDB、Chronograf、Kapacitor四款開源工具，不過從1.0之後，這些工具在開源版基礎上提供了企業版本，後者提供了例如高可用、雲端存儲等企業級功能。

3. 容器管理和界面工具

可視化是用戶友好性十分重要的一部分，Shipyard和Decking是Docker早期時十分受歡迎的可視化工具，以後Docker也收購了Kitematic做爲官方的容器管理UI。但隨着容器應用集羣化，早期的UI工具再也不流行，一些針對特定集羣平臺定製的新型管理UI開始出現。例如Kubernetes官方推出了Dashboard項目用於可視化的管理集羣，Cockpit則是紅帽公司推出的Kubernetes集羣管理界面。如下是其中一些開源的容器管理UI項目：

• 017. Kitematic：https://kitematic.com

• 018. DockerUI：https://github.com/crosbymichael/dockerui

• 019. Panamax：http://panamax.io

• 020. Rapid Dashboard：https://github.com/ozlerhakan/rapid

• 021. Cockpit：http://cockpit-project.org

• 022. Portainer：https://www.portainer.io

• 023. Shipyard：http://shipyard-project.com

• 024. Seagull：https://github.com/tobegit3hub/seagull

• 025. Dockeron：https://github.com/dockeron/dockeron

• 026. DockStation：https://dockstation.io

4. 基礎設施集成

容器集羣的實施是須要以硬件基礎設施做爲依託的，有些輔助工具可以簡化這個過程。這些項目每每與具體的底層平臺相關，例如：

• 027. Nova-docker：https://github.com/stackforge/nova-docker

• 028. Magnum：https://github.com/openstack/magnum

• 029. Machine：https://docs.docker.com/machine

• 030. Boot2Docker：https://github.com/boot2docker/boot2docker

• 031. Clocker：https://github.com/brooklyncentral/clocker

• 032. MaestroNG：https://github.com/signalfuse/maestro-ng

Nova-docker和Magnum都是在OpenStack集成容器集羣的項目，不過目前OpenStack官方正在嘗試經過讓Kubernetes直接建立虛擬機的方式來統一它在IaaS層和CaaS層的差別，其中的Nova-docker已經被廢棄了。Machine是Docker公司推出的基礎設施管理工具，Boot2Docker曾經是在Windows和Mac上使用Docker的官方方案，但隨着Docker 1.12版本發佈了多種操做系統的發行版後，已經再也不被推薦使用了。

5. 編排和調度

編排和調度是容器集羣的基本功能，所以選擇編排和調度工具實際上就是在選擇容器集羣的方案。如下是一些開源的容器任務編排調度工具：

• 033. SwarmKit：https://github.com/docker/swarmkit

• 034. Kubernetes：http://kubernetes.io

• 035. Marathon：https://github.com/mesosphere/marathon

• 036. Rancher：http://www.rancher.io

• 037. Nomad：https://github.com/hashicorp/nomad

• 038. OpenShift：https://www.openshift.com

• 039. Crane：https://github.com/michaelsauter/crane

• 040. Nebula：https://github.com/nebula-orchestrator

• 041. GearD：http://openshift.github.io/geard

其中的OpenShift主要是指其3.0以後的發行版，它是紅帽公司基於Kubernetes二次開發的集持續集成和交付於一體的容器集羣方案，具備開源和商業兩個版本。

6. 容器鏡像倉庫

鏡像倉庫是基於容器的在軟件發佈流程中必要的組成部分，Docker開源了其鏡像倉庫的最小實現，但對於企業級應用來講，它缺乏了高可用、權限控制、管理界面等必要功能。Docker Hub和國內的許多容器雲平臺都提供了公有云的企業級倉庫服務，社區中也有一些容器倉庫的開源或免費的實現，例如：

• 042. Repository：https://github.com/docker/distribution

• 043. Nexus：http://www.sonatype.org/nexus

• 044. Habor：http://vmware.github.io/harbor

• 045. Portus：https://github.com/SUSE/Portus

• 046. Docker Registry UI：https://github.com/atcol/docker-registry-ui

• 047. Dragonfly：https://github.com/alibaba/Dragonfly

其中的Nexus是一種通用的軟件包倉庫解決方案，支持包括Maven、NPM、PIP、RPM等許多主流打包格式的分發和管理，它是在3.0之後的版本中開始支持做爲Docker鏡像倉庫的。VMWare推出的Habor是目前相對經常使用的企業級開源Docker倉庫解決方案。Portus和Docker Registry UI是基於官方Repository鏡像倉庫的界面化管理工具。Dragonfly是一款P2P協議的鏡像分發工具，並不是直接提供鏡像存儲功能，但也屬於倉庫輔助類的工具。

7. 服務發現和容器域名服務

服務發現和域名服務其實是微服務架構和容器集羣的調度工具所需的組件，它們在容器集羣中十分常見，也是這個生態圈中舉足輕重的一部分，如下是其中一些在實際工程中被說起較多的工具：

• 048. Etcd：https://github.com/coreos/etcd

• 049. Consul：http://www.consul.io

• 050. ZooKeeper：https://zookeeper.apache.org

• 051. Eureka：https://github.com/Netflix/eureka

• 052. Traefik：https://traefik.io

• 053. Muguet：https://github.com/mattallty/muguet

• 054. Registrator：https://github.com/gliderlabs/registrator

• 055. SkyDNS：https://github.com/skynetservices/skydns

8. 容器日誌收集處理

和容器集羣的監控同樣，收集容器中的服務運行日誌與虛擬機中的方式一樣存在許多差別。目前Docker直接經過插件可以支持的日誌收集工具包括Rsyslog、Splunk和Fluentd，雖然FileBeat不在此列，但因爲其小巧便捷的部署機制，也獲得了許多用戶青睞。一些過去用於虛擬機的日誌收集器，好比LogStash或Flume，一樣可以使用與容器中的服務，但它們都再也不是首選的方案。

• 056. Splunk：https://www.splunk.com

• 057. Fluentd：https://www.fluentd.org

• 058. ElasticStack：https://www.elastic.co

• 059. Flume：https://flume.apache.org

• 060. Rsyslog：https://www.rsyslog.com/

ElasticStack是Beats、Logstash、ElasticSearch和Kibana四款開源項目的統稱，這是一套十分流行的日誌匯聚、處理、存儲和展現的工具組合。其中的ElasticSearch和Kibana也能夠與Fluentd配合，造成端到端日誌處理方案。另外值得指出的是，Splunk並非開源或免費的，但它在企業級日誌處理方案中的應用十分普遍。

9. 容器相關的系統發行版

有些Linux發行版是爲容器運行而優化的，Atomic和ClearLinux系統都屬於此類。另外一些Linux發行版在設計之初就充分地將容器機制融入了系統的架構理念，例如CoreOS。有的系統甚至將Docker做爲系統的核心服務來管理其餘用戶進程，例如RancherOS和Hyper容器引擎所使用的操做系統。相似的項目還有許多，它們都是架設容器集羣時十分稱手的基礎設施，例如：

• 061. Container Linux：http://coreos.com

• 062. Project Atomic：http://www.projectatomic.io

• 063. RancherOS：http://rancher.com/rancher-os

• 064. ClearLinux：https://clearlinux.org

• 065. Photon OS：https://vmware.github.io/photon

• 066. CargoOS：https://cargos.io

• 067. SmartOS：https://www.joyent.com/smartos

10. 容器平臺

容器平臺是大規模容器運用的產物，它一般會與持續集成、持續交付的工具結合，成爲鏈接上層應用服務和底層基礎設施、幫助使用者快速實現從代碼提交到產品上線全過程的端到端交付過程。如下是其中一些相關的開源項目：

• 068. Deis：https://deis.com

• 069. Flynn：http://flynn.io

• 070. Dokku：https://github.com/progrium/dokku

• 071. Fabric8：http://fabric8.io

• 072. Kel：http://www.kelproject.com

• 073. Nanobox：https://nanobox.io

• 074. Tsuru：https://tsuru.io

除了這些開源的容器平臺服務實現以外，互聯網上還有許多在線按量付費的容器即服務平臺，它們也是整個容器集羣生態的一部分。

11. 容器網絡

容器技術在解決環境隔離和配額問題的同時，也引入了網絡層面的複雜性。因爲使用了Network Namespace，每一個容器均可以得到獨立的IP地址，這對於單個主機的狀況並沒有大礙，但對於容器集羣的狀況，IP地址的分配和互聯就成爲了新的問題。所以在設計容器集羣時，一般須要專門爲網絡的鏈接方式加以考慮。經常使用的開源方案例如：

• 075. Libnetwork：https://github.com/docker/libnetwork

• 076. Flannel：https://github.com/coreos/flannel

• 077. Calico：http://www.projectcalico.org

• 078. Weave：https://github.com/zettio/weave

• 079. Romana：http://romana.io

• 080. Canal：https://github.com/projectcalico/canal

• 081. Open vSwitch：http://openvswitch.org

• 082. Pipework：https://github.com/jpetazzo/pipework

這些網絡方案大多采用了七層網絡的Overlay Network方式，也就是在容器之間通訊的網絡包上封裝了用於路由尋址的額外包頭，這種方式會致使網絡通訊效率的降低，具體影響程度與所封裝的額外數據大小有關。而Calico採用修改每一個主機節點上的IPtables和路由表規則實現容器間數據路由和訪問控制，屬於三層網絡的方式，這種方案在節點規模不太大（最多幾百個節點）時的效率優點十分明顯，是一種比較受推薦的容器網絡工具。除了這些較經常使用的方案外，一些條件容許的企業也會結合MacVLAN等二層網絡方案實現容器的互聯，以得到更好的網絡性能。

12. 容器安全

容器安全性問題的根源在於容器和宿主機共用內核，所以受攻擊的面特別大。另外，若是容器裏的應用致使Linux內核崩潰，整個宿主機系統都會崩潰，這一點與虛擬機是不一樣的。此外，鏡像的安全性也是容器安全的一部分，如何保障用戶下載的鏡像是可信的、未被篡改過的，以及如何保證鏡像中不會意外包含具備大量漏洞的老舊軟件都是須要考慮的問題。目前這些安全課題主要在一些企業級應用中引發較多重視，下面是一些相關的開源工具和項目：

• 083. Notary：https://github.com/docker/notary

• 084. Clair：https://github.com/coreos/clair

• 085. AppArmor：http://wiki.apparmor.net/index.php/Main_Page

• 086. SELinux：https://selinuxproject.org

• 087. Twistlock：https://www.twistlock.com

• 088. OpenSCAP：https://github.com/OpenSCAP/container-compliance

13. 容器數據持久化

容器是一種不可變的基礎設施，容器的數據應該經過Volume的方式保存到外部的介質上，容器持久化存儲本質上就是要解決如何簡便地將外部存儲掛載到容器中使用的問題。Docker在1.9版本後提供了存儲的插件，這也爲許多存儲方案提供了便利，如下列舉幾個例子：

• 089. Flocker ：https://github.com/clusterhq/flocker

• 090. Convoy：https://github.com/rancher/convoy

• 091. REX-Ray：https://github.com/codedellemc/rexray

• 092. Netshare：https://github.com/ContainX/docker-volume-netshare

• 093. OpenStorage：https://github.com/libopenstorage/openstorage

其中Ceph是通用的網絡存儲工具，同時提供塊存儲和對象存儲能力，對容器化場景下的應用數據持久化具備良好的支持。

14. 容器相關開發流程工具

容器的鏡像能夠被看做一種新型的應用打包方式，所以容器經常與軟件的開發和持續集成、持續交付流程相結合，提供不一樣環境一致性部署能力。如下是一些利用容器改善軟件開發和交付的工具或平臺：

• 094. Drone.io：https://drone.io

• 095. Shippable：http://shippable.com

• 096. Cyclone：https://github.com/caicloud/cyclone

• 097. Screwdriver：http://screwdriver.cd

• 098. WatchTower：https://github.com/v2tec/watchtower

• 099. Wercker：http://wercker.com

• 100. Totem：http://totem.github.io

以上內容節選自近期剛剛面市的新書《容器即服務：從零構建企業級容器集羣》，這是一本迄今爲止最完整闡述容器集羣技術及其周邊生態體系的著做。其做者是來自阿里巴巴的一線技術專家，也一名從Lxc-Docker（最先的Docker 0.x版本）時期就開始在項目中運用容器的一線技術諮詢師，目擊了容器技術從興起到成熟的整個過程，在一次次的技術選型和實踐裏，親身經歷各種相關開源項目的大坑小窪，並屢次在技術大會上進行過演講分享（比較大型的會議包括2015年的CNut全球容器技術大會、2016年的CSDN架構技術實戰峯會、2017年的CNut全球運維技術大會等）。全書分爲8個章節，不只囊括當前排名最靠前的4大主流開源容器集羣方案，同時介紹了許多容器相關項目的技術選型和原理細節，具體目錄列舉以下：

• 第1章 容器集羣綜述

• 第2章 SwarmKit 集羣解決方案

• 第3章 Kubernetes 集羣解決方案

• 第4章 Mesos 集羣解決方案

• 第5章 Rancher 集羣解決方案

• 第6章 容器集羣的網絡和存儲

• 第7章 容器服務的基礎設施

• 第8章 容器技術新風向

學會一項技術很快，但學懂一門技術則須要時間的積累，作到知其然並知其因此然是一段辛苦而快樂的過程。願《容器即服務：從零構建企業級容器集羣》可以爲你的容器學習之路鋪上一塊穩固的基石。

這本書目前已經上市，在噹噹、亞馬遜等商城都可直接購買。同時歡迎對容器及研發效能有興趣的同窗與咱們聯繫，阿里巴巴研發效能事業部期待你的加入，關注雲效微信公衆號（ali_yunxiao）回覆「招聘」加入咱們。

本文做者：雲效鼓勵師

本文爲雲棲社區原創內容，未經容許不得轉載。