Docker Harbor私有倉庫簡介及部署

Harbor簡介

Harbor是一個用於存儲和分發Docker鏡像的企業級Registry服務器，經過添加一些企業必需的功能特性，例如安全、標識和管理等，擴展了開源Docker Distribution。做爲一個企業級私有Registry服務器，Harbor提供了更好的性能和安全。提高用戶使用Registry構建和運行環境傳輸鏡像的效率。Harbor支持安裝在多個Registry節點的鏡像資源複製，鏡像所有保存在私有Registry中， 確保數據和知識產權在公司內部網絡中管控。另外，Harbor也提供了高級的安全特性，諸如用戶管理，訪問控制和活動審計等。

Harbor特性

• 基於角色的訪問控制 ：用戶與Docker鏡像倉庫經過「項目」進行組織管理，一個用戶能夠對多個鏡像倉庫在同一命名空間（project）裏有不一樣的權限。

• 鏡像複製 ： 鏡像能夠在多個Registry實例中複製（同步）。尤爲適合於負載均衡，高可用，混合雲和多雲的場景。

• 圖形化用戶界面 ： 用戶能夠經過瀏覽器來瀏覽，檢索當前Docker鏡像倉庫，管理項目和命名空間。

• AD/LDAP 支持 ： Harbor能夠集成企業內部已有的AD/LDAP，用於鑑權認證管理。

• 審計管理 ： 全部針對鏡像倉庫的操做均可以被記錄追溯，用於審計管理。

• 國際化 ： 已擁有英文、中文、德文、日文和俄文的本地化版本。更多的語言將會添加進來。

• RESTful API ： RESTful API 提供給管理員對於Harbor更多的操控, 使得與其它管理軟件集成變得更容易。

• 部署簡單 ： 提供在線和離線兩種安裝工具， 也能夠安裝到vSphere平臺(OVA方式)虛擬設備。

Harbor組件

Harbor在架構上主要由6個組件構成：

• Proxy：Harbor的registry, UI, token等服務，經過一個前置的反向代理統一接收瀏覽器、Docker客戶端的請求，並將請求轉發給後端不一樣的服務。

• Registry： 負責儲存Docker鏡像，並處理docker push/pull 命令。因爲咱們要對用戶進行訪問控制，即不一樣用戶對Docker image有不一樣的讀寫權限，Registry會指向一個token服務，強制用戶的每次docker pull/push請求都要攜帶一個合法的token, Registry會經過公鑰對token 進行解密驗證。

• Core services： 這是Harbor的核心功能，主要提供如下服務：

• UI：提供圖形化界面，幫助用戶管理registry上的鏡像（image）, 並對用戶進行受權。

• webhook：爲了及時獲取registry 上image狀態變化的狀況， 在Registry上配置webhook，把狀態變化傳遞給UI模塊。

• token 服務：負責根據用戶權限給每一個docker push/pull命令簽發token. Docker 客戶端向Regiøstry服務發起的請求,若是不包含token，會被重定向到這裏，得到token後再從新向Registry進行請求。

• Database：爲core services提供數據庫服務，負責儲存用戶權限、審計日誌、Docker image分組信息等數據。

• Job Services：提供鏡像遠程複製功能，能夠把本地鏡像同步到其餘Harbor實例中。

• Log collector：爲了幫助監控Harbor運行，負責收集其餘組件的log，供往後進行分析。

各組件之間的關係

Harbor的實現

Harbor的每一個組件都是以Docker容器的形式構建的，官方也是使用Docker Compose來對它進行部署。用於部署Harbor的Docker Compose模板位於 harbor/docker-compose.yml,打開這個模板文件，發現Harbor是由7個容器組成的；

# docker-compose ps

      Name                     Command               State                                Ports                               ------------------------------------------------------------------------------------------------------------------------------

harbor-adminserver   /harbor/harbor_adminserver       Up    

harbor-db            docker-entrypoint.sh mysqld      Up      3306/tcp    

harbor-jobservice    /harbor/harbor_jobservice        Up    

harbor-log           /bin/sh -c crond && rm -f  ...   Up      127.0.0.1:1514->514/tcp

harbor-ui            /harbor/harbor_ui                Up          

nginx                nginx -g daemon off;             Up      0.0.0.0:443->443/tcp, 0.0.0.0:4443->4443/tcp, 0.0.0.0:80->80/tcp

registry             /entrypoint.sh serve /etc/ ...   Up      5000/tcp

nginx：nginx負責流量轉發和安全驗證，對外提供的流量都是從nginx中轉，因此開放https的443端口，它將流量分發到後端的ui和正在docker鏡像存儲的docker registry。

harbor-jobservice：harbor-jobservice 是harbor的job管理模塊，job在harbor裏面主要是爲了鏡像倉庫以前同步使用的;

harbor-ui：harbor-ui是web管理頁面，主要是前端的頁面和後端CURD的接口;

registry：registry就是docker原生的倉庫，負責保存鏡像。

harbor-adminserver：harbor-adminserver是harbor系統管理接口，能夠修改系統配置以及獲取系統信息。

這幾個容器經過Docker link的形式鏈接在一塊兒，在容器之間經過容器名字互相訪問。對終端用戶而言，只須要暴露proxy （即Nginx）的服務端口。

harbor-db：harbor-db是harbor的數據庫，這裏保存了系統的job以及項目、人員權限管理。因爲本harbor的認證也是經過數據，在生產環節大多對接到企業的ldap中；

harbor-log：harbor-log是harbor的日誌服務，統一管理harbor的日誌。經過inspect能夠看出容器統一將日誌輸出的syslog。

這幾個容器經過Docker link的形式鏈接在一塊兒，這樣，在容器之間能夠經過容器名字互相訪問。對終端用戶而言，只須要暴露proxy （即Nginx）的服務端口。

安裝及部署

環境名稱	軟件版本	備註
操做系統	CentOS Linux release 7.3.1611
Docker Engine	17.12.0-ce
docker-compose	1.24.0
harbor	1.6.2

安裝harbor以前，須要安裝好docker engine、docker-compose

1、安裝docker

請參閱連接：二進制安裝Docker

2、安裝docker-compose

Docker Compose是一個用來定義和運行復雜應用的Docker工具。一個使用Docker容器的應用，一般由多個容器組成。使用Docker Compose再也不須要使用shell腳原本啓動容器。

Compose 經過一個配置文件來管理多個Docker容器，在配置文件中，全部的容器經過services來定義，而後使用docker-compose腳原本啓動，中止和重啓應用，和應用中的服務以及全部依賴服務的容器，很是適合組合使用多個容器進行開發的場景。

官方網址：Docker compose

#  curl -L "https://github.com/docker/compose/releases/download/1.24.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/bin/docker-compose

# chmod +x /usr/bin/docker-compose

3、安裝harbor

我這裏是下載離線安裝包，進行安裝的

# tar xf harbor-offline-installer-v1.6.2.tgz

# mv harbor /usr/local/

# cd /usr/local/harbor/

# vi harbor.cfg

_version = 1.6.0 hostname = node176 ui_url_protocol = http max_job_workers = 10 customize_crt = on ssl_cert = /data/cert/server.crt ssl_cert_key = /data/cert/server.key secretkey_path = /data admiral_url = NA log_rotate_count = 50 log_rotate_size = 200M http_proxy = https_proxy = no_proxy = 127.0.0.1,localhost,ui,registry email_identity = email_server = smtp.mydomain.com email_server_port = 25 email_username = sample_admin@mydomain.com email_password = abc email_from = admin <sample_admin@mydomain.com> email_ssl = false email_insecure = false harbor_admin_password = Harbor12345 auth_mode = db_auth ldap_url = ldaps://ldap.mydomain.com ldap_basedn = ou=people,dc=mydomain,dc=com ldap_uid = uid ldap_scope = 2 ldap_timeout = 5 ldap_verify_cert = true ldap_group_basedn = ou=group,dc=mydomain,dc=com ldap_group_filter = objectclass=group ldap_group_gid = cn ldap_group_scope = 2 self_registration = off token_expiration = 30 project_creation_restriction = adminonly db_host = postgresql db_password = root123 db_port = 5432 db_user = postgres redis_host = redis redis_port = 6379 redis_password = redis_db_index = 1,2,3 clair_db_host = postgresql clair_db_password = root123 clair_db_port = 5432 clair_db_username = postgres clair_db = postgres clair_updaters_interval = 12 uaa_endpoint = uaa.mydomain.org uaa_clientid = id uaa_clientsecret = secret uaa_verify_cert = true uaa_ca_cert = /path/to/ca.pem registry_storage_provider_name = filesystem registry_storage_provider_config = registry_custom_ca_bundle =

# ./install.sh

打開網址：http://172.20.20.176

輸入默認的用戶名及密碼：admin/Harbor12345

最後成功以下：

配置Harbor支持HTTPS訪問連接

# mkdir -p /data/cert && cd /data/cert

• 建立CA證書

# openssl genrsa -out ca.key 2048

• 生成自簽名證書（使用已由私鑰ca.key自行簽發根證書）

# openssl  req -x509 -new -nodes -key ca.key -days 3650 -out ca.crt -subj "/CN=harbor-ca"

• 生成服務器端私鑰和csr簽名請求

# openssl req -newkey rsa:4096 -nodes -sha256 -keyout server.key -out server.csr

• 簽發服務器證書

# echo subjectAltName = IP:172.20.20.176 > extfile.cnf

# openssl x509 -req -in server.csr -CA ca.crt -CAkey ca.key -CAcreateserial -days 3650 -extfile extfile.cnf -out server.crt

• 修改harbor的配置文件，harbor.cfg

# cd /usr/local/harbor/

# vi harbor.cfg

hostname = 172.20.20.176 ui_url_protocol = https

# mkdir -p /etc/docker/certs.d/172.20.20.176

# cp /data/cert/ca.crt /etc/docker/certs.d/172.20.20.176/

修改/etc/sysconfig/docker或修改/etc/docker/daemon.json【任選一種】

第一種：

修改/etc/sysconfig/docker

將

OPTIONS='--selinux-enabled=false --log-driver=journald --signature-verification=false --insecure-registry registry:5000

改成：

OPTIONS='--selinux-enabled=false --log-driver=journald --signature-verification=false --insecure-registry www.node175.com

第二種：

# cat > /etc/docker/daemon.json << EOF

{ "insecure-registries":["www.node175.com"] }

EOF

• 啓動Harbor

# systemctl restart docker

# cd /usr/local/harbor/

# docker-compose  down

# ./prepare

## docker-compose  up -d

• 訪問測試

https://172.20.20.176/

遇到問題摘要：

在其餘docker節點上，進行docker login harbor地址時，出現

Error response from daemon: Get https://www.node175.com/v2/: x509: certificate is not valid for any names, but wanted to match www.node175.com 等錯誤信息

解決方法：

將harbor的ca.crt及daemon.json拷貝到其餘docker節點的相應位置：

例如：

1.harbor的ca.crt路徑爲：/etc/docker/certs.d/www.node175.com

拷貝到其餘docker節點的 /etc/docker/certs.d/www.node175.com，沒有則新建

2.拷貝harbor的/etc/docker/daemon.json  到其餘docker的/etc/docker目錄

3.重啓docker服務便可