Harbor是一個用於存儲和分發Docker鏡像
的企業級Registry
服務器,經過添加一些企業必需的功能特性,例如安全、標識和管理等,擴展了開源Docker Distribution。html
做爲一個企業級私有Registry服務器,Harbor提供了更好的性能和安全。前端
提高用戶使用Registry構建和運行環境傳輸鏡像的效率。nginx
Harbor支持安裝在多個Registry節點的鏡像資源複製,鏡像所有保存在私有Registry中, 確保數據和知識產權在公司內部網絡中管控。git
另外,Harbor也提供了高級的安全特性,諸如用戶管理,訪問控制和活動審計等。github
harbor官方默認提供主從複製的方案來解決鏡像同步問題,經過複製的方式,咱們能夠實時將測試環境harbor倉庫的鏡像同步到生產環境harbor,相似於以下流程:web
imgredis
在實際生產運維的中,每每須要把鏡像發佈到幾十或上百臺集羣節點上。這時,單個Registry已經沒法知足大量節點的下載需求,所以要配置多個Registry實例作負載均衡。手工維護多個Registry實例上的鏡像,將是十分繁瑣的事情。Harbor能夠支持一主多從的鏡像發佈模式,能夠解決大規模鏡像發佈的難題:sql
只要往一臺Harbor上發佈,鏡像就會像"仙女散花"般地同步到多個Registry中,高效可靠。docker
若是是地域分佈較廣的集羣,還能夠採用層次型發佈方式,好比從集團總部機房同步到分公司1機房,再從分公司1機房同步到分公司2機房:數據庫
然而單靠主從同步,仍然解決不了harbor主節點的單點問題。
所謂的雙主複製其實就是複用主從同步實現兩個harbor節點之間的雙向同步,來保證數據的一致性,而後在兩臺harbor前端頂一個負載均衡器將進來的請求分流到不一樣的實例中去,只要有一個實例中有了新的鏡像,就是自動的同步複製到另外的的實例中去,這樣實現了負載均衡,也避免了單點故障,在必定程度上實現了Harbor的高可用性:
這個方案有一個問題就是有可能兩個Harbor實例中的數據不一致。假設若是一個實例A掛掉了,這個時候有新的鏡像進來,那麼新的鏡像就會在另一個實例B中,後面即便恢復了掛掉的A實例,Harbor實例B也不會自動去同步鏡像,這樣只能手動的先關掉Harbor實例B的複製策略,而後再開啓複製策略,才能讓實例B數據同步,讓兩個實例的數據一致。
另外,這裏還須要多吐槽一句:在實際生產使用中,主從複製十分的不靠譜!!因此這裏推薦使用下面要說的這種方案。
共享後端存儲算是一種比較標準的方案,就是多個Harbor實例共享同一個後端存儲,任何一個實例持久化到存儲的鏡像,均可被其餘實例中讀取。經過前置LB進來的請求,能夠分流到不一樣的實例中去處理,這樣就實現了負載均衡,也避免了單點故障。
本次搭建以NFS做爲共享存儲存放Harbor相關data,並分離PostgreSQL與Redis爲多個Harbor共同鏈接使用,使用Nginx作負載均衡。
img
若是最終生產環境集羣中服務器較多,依賴作完LB的Harbor也沒法徹底達到需求時,可使用以下架構,部署下級Harbor節點從主節點同步鏡像,而後再分發給生產服務器。
這個方案在實際生產環境中部署須要考慮三個問題:
1. 共享存儲的選取,Harbor的後端存儲目前支持AWS S三、Openstack Swift, Ceph等,在下面的實驗環境裏,暫且直接使用nfs。
2. Session在不一樣的實例上共享,這個如今其實已經不是問題了,在最新的harbor中,默認session會存放在redis中,只須要將redis獨立出來便可。能夠經過redis sentinel或者redis cluster等方式來保證redis的可用性。在下面的實驗環境裏,暫且使用單臺redis。
3. Harbor多實例數據庫問題,這個也只須要將harbor中的數據庫拆出來獨立部署便可。讓多實例共用一個外部數據庫,數據庫的高可用也能夠經過數據庫的高可用方案保證。
CentOS 7.6
軟件 | 版本 |
---|---|
Docker | 19.03.8 |
docker-compose | 1.25.5 |
Harbor | 1.10.2 |
Nginx | 1.14.0 |
PostgreSQL | 9.6.17 |
Redis | 3.2.12 |
這裏主要作Harbor高可用演示,真實生產環境請按需分離NFS與DB單獨部署。
IP | 主機名 |
---|---|
192.168.16.141 | Nginx |
192.168.166.122 | NFS |
192.168.166.203 | postgresql |
192.168.166.245 | Redis |
192.168.166.81 | Harbor-01 |
192.168.166.212 | Harbor-02 |
1)安裝依賴包:
yum install -y yum-utils \
device-mapper-persistent-data \
lvm2
2)官方一鍵腳本安裝
curl -fsSL get.docker.com -o get-docker.sh
sh get-docker.sh --mirror Aliyun
3)添加內核參數
tee -a /etc/sysctl.conf <<-EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
將net.ipv4.ip_forward
賦值爲1
而後刷新內核參數
sysctl -p
4)修改Docker倉庫爲國內鏡像站
curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s https://pclhthp0.mirror.aliyuncs.com
5)啓動Docker
systemctl enable docker && systemctl start docker
compose是Docker提供的一個命令行工具,用來定義和運行由多個容器組成的應用。使用compose,咱們能夠經過YAML文件聲明式的定義應用程序的各個服務,並由單個命令完成應用的建立和啓動。
因爲國內政策緣由,可能在海外網站上下載文件速度較慢,建議下載本地後上傳至服務器
1)下載docker-compose
並賦予可執行權限
# curl -L https://github.com/docker/compose/releases/download/1.24.1/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose
# chmod +x /usr/local/bin/docker-compose
cd /usr/local/bin
scp 192.168.166.96:/usr/local/bin/docker-compose .
注意:因爲我其餘服務器已經存在,因此我直接拷貝了
2)安裝bash補全命令
# curl -L https://raw.githubusercontent.com/docker/compose/1.24.1/contrib/completion/bash/docker-compose > /etc/bash_completion.d/docker-compose
scp 192.168.166.96:/etc/bash_completion.d/docker-compose /etc/bash_completion.d/
從新鏈接終端即生效
注意:因爲我其餘服務器已經存在,因此我直接拷貝了
1)安裝必需的RPM包
yum -y install nfs-utils rpcbind
2)建立NFS共享目錄
mkdir -p /data/harbor_data
chown nobody:nobody /data/harbor_data/
3)修改NFS服務配置文件
echo "/data/harbor_data 192.168.166.0/24(rw,sync,no_root_squash)" >> /etc/exports
4)啓動NFS服務器
systemctl enable rpcbind && systemctl restart rpcbind
systemctl enable nfs && systemctl restart nfs
1)安裝nfs-utils
yum -y install nfs-utils
2)在NFS客戶端上查看NFS的連通性
# showmount -e 192.168.166.122
Export list for 192.168.166.122:
/data/harbor_data 192.168.166.0/24
3)掛載NFS共享存儲
建立掛載目錄
mkdir /data
修改/etc/fstab配置文件加入如下內容
192.168.166.122:/data/harbor_data /data nfs defaults 0 0
mount掛載
mount -a
1)下載PostgreSQL官方YUM源配置文件包並安裝
wget https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm
rpm -ivh pgdg-redhat-repo-latest.noarch.rpm
2)安裝PostgreSQL
yum -y install postgresql96-server postgresql96-contrib
3)初始化數據庫
/usr/pgsql-9.6/bin/postgresql96-setup initdb
4)啓動數據庫
systemctl enable postgresql-9.6 && systemctl restart postgresql-9.6
5)PostgreSQL數據庫配置
# su - postgres
-bash-4.2$ psql
psql (9.6.17)
Type "help" for help.
postgres=# ALTER USER postgres WITH PASSWORD 'postgres';
ALTER ROLE
vi /var/lib/pgsql/9.6/data/postgresql.conf
# listen_addresses = 'localhost' 改成 listen_addresses='*'
vim /var/lib/pgsql/9.6/data/pg_hba.conf
加入:
host all all 192.168.166.203/32 trust
host all all 192.168.166.81/32 trust
host all all 192.168.166.212/32 trust
6)重啓PostgreSQL服務
systemctl restart postgresql-9.6
7)驗證服務
psql -h 192.168.166.203 -p 5432 -U postgres
8)遷移數據庫
簡要步驟以下:
# yum install -y yum-utils device-mapper-persistent-data lvm2
# curl -fsSL get.docker.com -o get-docker.sh
# sh get-docker.sh --mirror Aliyun
#curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s https://pclhthp0.mirror.aliyuncs.com
# systemctl enable docker && systemctl start docker
# cd /usr/local/bin
# scp 192.168.166.96:/usr/local/bin/docker-compose .
# scp 192.168.166.96:/etc/bash_completion.d/docker-compose /etc/bash_completion.d/
# cd ~
# scp 192.168.166.96:/root/harbor-offline-installer-v1.10.2.tgz .
# tar -xvf harbor-offline-installer-v1.10.2.tgz -C /usr/local/
# cd /usr/local/harbor/
# vim harbor.yml ###修改hostname: 192.168.166.203 ####註釋掉https段便可
# ./prepare
# ./install.sh
# docker-compose up -d
# docker container exec -it harbor-db /bin/bash
pg_dump -U postgres registry > /tmp/registry.sql
pg_dump -U postgres notarysigner > /tmp/notarysigner.sql
pg_dump -U postgres notaryserver > /tmp/notaryserver.sql
docker container cp harbor-db:/tmp/registry.sql /tmp
docker container cp harbor-db:/tmp/notarysigner.sql /tmp
docker container cp harbor-db:/tmp/notaryserver.sql /tmp
# psql -h 192.168.166.203 -U postgres
postgres=# create database registry;
CREATE DATABASE
postgres=# create database notarysigner;
CREATE DATABASE
postgres=# create database notaryserver;
CREATE DATABASE
psql -h 192.168.166.203 -U postgres registry < /tmp/registry.sql
psql -h 192.168.166.203 -U postgres notarysigner < /tmp/notarysigner.sql
psql -h 192.168.166.203 -U postgres notaryserver < /tmp/notaryserver.sql
1)安裝redis
yum -y install redis
2) 修改配置參數
sed -i 's/bind 127.0.0.1/bind 0.0.0.0/g' /etc/redis.conf
sed -i 's/daemonize no/daemonize yes/g' /etc/redis.conf
3)啓動並測試redis鏈接
systemctl enable redis && systemctl restart redis
redis-cli
下載Harbor離線安裝包,離線安裝包文件較大(約爲:590M),建議在本地使用多線程工具下載後上傳服務器使用。
1)下載
cd ~
scp 192.168.166.96:/root/harbor-offline-installer-v1.10.2.tgz .
2)解壓
tar -xvf harbor-offline-installer-v1.10.2.tgz -C /usr/local/
3)修改配置文件
# cd /usr/local/harbor/
# vim harbor.yml
修改的內容有
hostname
修改成本機ip/data
目錄下,因此不用動database
clair
external_database
和external_redis
塊的註釋,並改成剛剛部署的地址修改完的樣例文件,以下
hostname: 192.168.166.81
http:
port: 80
harbor_admin_password: Harbor12345
data_volume: /data
jobservice:
max_job_workers: 10
notification:
webhook_job_max_retry: 10
chart:
absolute_url: disabled
log:
level: info
local:
rotate_count: 50
rotate_size: 200M
location: /var/log/harbor
_version: 1.10.0
external_database:
harbor:
host: 192.168.166.203
port: 5432
db_name: registry
username: postgres
password: postgres
ssl_mode: disable
max_idle_conns: 2
max_open_conns: 0
clair:
host: 192.168.166.203
port: 5432
db_name: clair
username: postgres
password: postgres
ssl_mode: disable
notary_signer:
host: 192.168.166.203
port: 5432
db_name: notarysigner
username: postgres
password: postgres
ssl_mode: disable
notary_server:
host: 192.168.166.203
port: 5432
db_name: notaryserver
username: postgres
password: postgres
ssl_mode: disable
external_redis:
host: 192.168.166.245
port: 6379
password:
registry_db_index: 1
jobservice_db_index: 2
chartmuseum_db_index: 3
clair_db_index: 4
proxy:
http_proxy:
https_proxy:
no_proxy:
components:
- core
- jobservice
- clair
4)生成harbor運行的必要文件(環境)以及docker-compose.yml
文件;執行後會經過網絡獲取Docker Image,建議提早修改好國內鏡像站加速。
./prepare
5)安裝Harbor
./install.sh
1)安裝nginx
安裝能夠參考https://wiki.clay-wangzhi.com/7-nginx/1.-chu-shi-nginx#4-bian-yi-an-zhuang-nginx
這裏我就再也不詳細講了
2)編寫配置文件
# cat harbor.schengle.com.conf
upstream harbor {
ip_hash;
server 192.168.166.81:80;
server 192.168.166.212:80;
}
server {
listen 80;
server_name harbor.***.com;
rewrite ^(.*) https://$server_name$1 permanent;
}
server {
listen 443 ssl;
server_name harbor.schengle.com;
ssl_certificate ***.crt;
ssl_certificate_key ***.key;
client_max_body_size 0;
chunked_transfer_encoding on;
location / {
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
#proxy_set_header Host $host;
proxy_set_header X-Forwarded-Proto https;
proxy_redirect off;
proxy_ssl_verify off;
proxy_ssl_session_reuse on;
proxy_pass http://harbor;
proxy_redirect default;
proxy_http_version 1.1;
}
location /v2/ {
proxy_pass http://harbor/v2/;
proxy_redirect default;
#proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_ssl_verify off;
proxy_ssl_session_reuse on;
proxy_buffering off;
proxy_request_buffering off;
}
}
3)平滑重啓nginx
nginx -s reload
https://www.cnblogs.com/kevingrace/p/11422710.html
https://juejin.im/post/5d973e246fb9a04dfa0963fb#heading-18
http://dwz-9.cn/_L4me