一個目標:容器操做;兩地三中心;四層服務發現;五種 Pod 共享資源;六個 CNI 經常使用插件;七層負載均衡;八種隔離維度;九個網絡模型原則;十類 IP 地址;百級產品線;千級物理機;萬級容器;相如無億,k8s 有億:億級日服務人次。redis
Kubernetes(k8s)是自動化容器操做的開源平臺。這些容器操做包括:部署、調度和節點集羣間擴展。算法
下面是 k8s 的架構拓撲圖:docker
兩地三中心api
兩地三中心包括本地生產中心、本地災備中心、異地災備中心。安全
兩地三中心要解決的一個重要問題就是數據一致性問題。服務器
k8s 使用 etcd 組件做爲一個高可用、強一致性的服務發現存儲倉庫。用於配置共享和服務發現。網絡
它做爲一個受到 Zookeeper 和 doozer 啓發而催生的項目。除了擁有他們的全部功能以外,還擁有如下 4 個特色:架構
先一張圖解釋一下網絡七層協議:負載均衡
k8s 提供了兩種方式進行服務發現:框架
以上兩種方式,一個是基於 TCP,DNS 基於 UDP,它們都是創建在四層協議之上。
Pod 是 k8s 最基本的操做單元,包含一個或多個緊密相關的容器。
一個 Pod 能夠被一個容器化的環境看做應用層的「邏輯宿主機」;一個 Pod 中的多個容器應用一般是緊密耦合的,Pod 在 Node 上被建立、啓動或者銷燬;每一個 Pod 裏運行着一個特殊的被稱之爲 Volume 掛載卷,所以他們之間通訊和數據交換更爲高效。在設計時咱們能夠充分利用這一特性將一組密切相關的服務進程放入同一個 Pod 中。
同一個 Pod 裏的容器之間僅需經過 localhost 就能互相通訊。
一個 Pod 中的應用容器共享五種資源:
Pod 的生命週期經過 Replication Controller 來管理;經過模板進行定義,而後分配到一個 Node 上運行,在 Pod 所包含容器運行結束後,Pod 結束。
Kubernetes 爲 Pod 設計了一套獨特的網絡配置,包括爲每一個 Pod 分配一個IP地址,使用 Pod 名做爲容器間通訊的主機名等。
CNI(Container Network Interface)容器網絡接口是 Linux 容器網絡配置的一組標準和庫,用戶須要根據這些標準和庫來開發本身的容器網絡插件。CNI 只專一解決容器網絡鏈接和容器銷燬時的資源釋放,提供一套框架。因此 CNI 能夠支持大量不一樣的網絡模式,而且容易實現。
下面用一張圖表示六個 CNI 經常使用插件:
七層負載均衡
提負載均衡就不得不先提服務器之間的通訊。
IDC(Internet Data Center)也可稱數據中心、機房,用來放置服務器。IDC 網絡是服務器間通訊的橋樑。
上圖裏畫了不少網絡設備,它們都是幹啥用的呢?
路由器、交換機、MGW/NAT 都是網絡設備,按照性能、內外網劃分不一樣的角色。
先說說各層負載均衡:
這裏用一張圖來講說四層和七層負載均衡的區別:
上面四層服務發現講的主要是 k8s 原生的 kube-proxy 方式。k8s 關於服務的暴露主要是經過 NodePort 方式,經過綁定 minion 主機的某個端口,而後進行 Pod 的請求轉發和負載均衡,但這種方式有下面的缺陷:
理想的方式是經過一個外部的負載均衡器,綁定固定的端口,好比 80;而後根據域名或者服務名向後面的 Service IP 轉發。
Nginx 很好的解決了這個需求,但問題是若是有的新的服務加入,如何去修改而且加載這些 Nginx 配置?
Kubernetes 給出的方案就是 Ingress。這是一個基於七層的方案。
k8s 集羣調度這邊須要對上面從上到下、從粗粒度到細粒度的隔離作相應的調度策略。
k8s 網絡模型要符合四個基礎原則、三個網絡要求原則、一個架構原則、一個 IP 原則。
每一個 Pod 都擁有一個獨立的 IP 地址,並且假定全部 Pod 都在一個能夠直接連通的、扁平的網絡空間中,不論是否運行在同一 Node 上均可以經過 Pod 的 IP 來訪問。
k8s 中的 Pod 的 IP 是最小粒度 IP。同一個 Pod 內全部的容器共享一個網絡堆棧,該模型稱爲 IP-per-Pod 模型。
IP-per-Pod 模型從端口分配、域名解析、服務發現、負載均衡、應用配置等角度看,Pod 能夠看作是一臺獨立的虛擬機或物理機。
要符合下面的架構:
由上圖架構引伸出來 IP 概念從集羣外部到集羣內部:
十類IP地址
你們都知道 IP 地址分爲 ABCDE 類,另外還有五類特殊用途的 IP。
第一類
A 類:1.0.0.0-1226.255.255.255,默認子網掩碼/8,即255.0.0.0。 B 類:128.0.0.0-191.255.255.255,默認子網掩碼/16,即255.255.0.0。 C 類:192.0.0.0-223.255.255.255,默認子網掩碼/24,即255.255.255.0。 D 類:224.0.0.0-239.255.255.255,通常用於組播。 E 類:240.0.0.0-255.255.255.255(其中255.255.255.255爲全網廣播地址)。E 類地址通常用於研究用途。
第二類
0.0.0.0 嚴格來講,0.0.0.0 已經不是一個真正意義上的 IP 地址了。它表示的是這樣一個集合:全部不清楚的主機和目的網絡。這裏的不清楚是指在本機的路由表裏沒有特定條目指明如何到達。做爲缺省路由。 127.0.0.1 本機地址。
第三類
224.0.0.1 組播地址。 若是你的主機開啓了IRDP(internet路由發現,使用組播功能),那麼你的主機路由表中應該有這樣一條路由。
第四類
169.254.x.x 使用了 DHCP 功能自動獲取了 IP 的主機,DHCP 服務器發生故障,或響應時間太長而超出了一個系統規定的時間,系統會爲你分配這樣一個 IP,表明網絡不能正常運行。
第五類
10.xxx、172.16.x.x~172.31.x.x、192.168.x.x 私有地址。 大量用於企業內部。保留這樣的地址是爲了不亦或是哪一個接入公網時引發地址混亂。
轉自:stackpush 連接:blog.csdn.net/huakai_sun/article/details/82378856