istio組件介紹和啓動流程

時間 2019-11-13

標籤 istio 組件介紹啓動流程简体版

原文原文鏈接

Istio各個Deployment包含的容器組件

Deployment 名稱	Container和Port	Container和Port
istio-pilot	pilot: 8080,15010	proxyv2: 15003,15005,15007
istio-galley	galley: 443,9093
istio-egressgateway	proxyv2: 80,443,15090
istio-ingressgateway	proxyv2: 80,443,31400,15011,8060,853,15030,15031,15090
grafana	grafana: 3000
istio-policy	mixer: 9093,42422	proxyv2: 9091,15004,15090
istio-telemetry	mixer: 9093,42422	proxyv2: 9091,15004,15090
prometheus	prometheus: 9090
istio-citadel	citadel: 8086
istio-sidecar-injector	sidecar-injector
istio-tracing	jaegertracing/all-in-one: 9411,16686 UDP:5775,6832,6831
istio-ingress	proxyv2: 80,443

其中，流量的走向以下圖所示：node

說明：紅色線表示控制流，黑色線表示數據流，藍色部分爲Envoy和pilot相關組件web

Istio核心組件與功能

istio主要有兩部分組成：控制面和數據面。算法

數據面被稱爲Sidecar: 會在業務Pod中注入一個容器，劫持業務應用容器的流量，並接受控制組件的控制，同時會向控制組件輸出日誌，跟蹤及監控數據。
控制面是Istio的核心，管理Istio的全部功能。

Pilot: Istio的核心流量控制組件，主要負責流量管理。Pilot管理了全部Envoy的代理實例（Sidecar），主要有如下功能：docker

從K8S或者其它平臺註冊中心回去服務信息，完成服務發現
讀取Istio的各項控制配置，在進行裝換後將其發給數據組件進行實施。
數據組件Sidecar根據Pilot指令，完成路由、服務、監聽、集羣等配置。

Mixer: 主要是預檢查和彙報工做，策略控制，監控，和日誌收集等。主要工做流程以下：json

用戶將Mixer配置發送到Kubernetes集羣中
Mixer經過對集羣資源的監聽，獲取配置的變化。
網格中的服務每次在調用前，都會向Mixer發出預檢請求，查看是否容許執行。在服務完成調用後，會向Mixer發出報告信息，彙報在調用過程當中產生的監控跟蹤數據。
Mixer 中包含多個Adapter的組件，這些組件來處理在Mixer中接收的預檢報告數據，完成Mixer的各項功能。

Citadel: 主要用於證書管理和身份認證。bootstrap

Sidecar(Envoy): Istio中的數據面，負責控制對服務網格控制的實際執行。api

Istio中默認的Sidecar是由Envoy派生出的，實際理論上只要支持Envoy的xDS協議（x descovery service 各種服務發現的總稱），其餘相似的反向代理軟件就能替代Envoy來擔當此角色。
Istio 利用istio-init初始化容器中的iptables指令，對所在Pod的流量進行劫持，從而接管Pod應用中的通訊。
Sidecar在注入到Pod以後，將原有的源容器 -> 目標容器的通訊方式改變爲源容器 -> Sidecar -> Sidecar -> 目標容器。

數據面組件

Istio經過K8s的Admission webhook[9]機制實現了sidecar的自動注入，Mesh中的每一個微服務pod會被加入Envoy相關的容器。
除了微服務自身的容器外，istio還在Pod中注入proxy_init和proxyv2 兩個容器。其中proxyv2容器中運行的兩個進程是數據面的核心。網絡

proxy_init

proxy_init是一個initContainer, 主要用於在啓動Pod前作一些初始化的工做，只有當InitContainer執行成功以後，纔會啓動Pod中的其餘container。負載均衡

能夠經過docker inspect 命令，來獲取此容器鏡像的元數據：curl

...
           "Env": [
                "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
            ],
            "Cmd": [
                "/bin/sh",
                "-c",
                "#(nop) COPY file:1e5fc95e10f8888f4cae33f7e0ea42b5aff9d18d36280ae288a0fee948dc18e1 in / "
            ],
            "ArgsEscaped": true,
            "Image": "sha256:e261e1418e2ed94d1de1742d80997cc58f96aa3c4bfc56cd50e7f2848bf5bcf6",
            "Volumes": null,
            "WorkingDir": "",
            "Entrypoint": [
                "/usr/local/bin/istio-iptables.sh"
            ],

...

從上面的命令行輸出能夠看到，Proxy_init中執行的命令是istio-iptables.sh腳本，腳本具體內容能夠直接從已存在的容器拷貝出來進行查看：

docker cp cbbaf5413d04:/usr/local/bin/istio-iptables.sh ./

這個腳本主要設置了Istio sidecar的iptables端口轉發規則。

proxyv2

伴隨着業務容器長久運行的注入容器是istio-proxy，這個容器負責截取POD中全部流入流出的流量。
經過以下命令，能夠看到在此容器中運行的進程：

[root@k8s-node-1 ~]# kubectl exec reviews-v3-748456d47b-6jvsp -c istio-proxy -- ps -ef
UID        PID  PPID  C STIME TTY          TIME CMD
istio-p+     1     0  0 02:26 ?        00:00:00 /usr/local/bin/pilot-agent proxy sidecar --configPath /etc/istio/proxy --binaryPath /usr/local/bin/envoy --serviceCluster reviews --drainDuration 45s --parentShutdownDuration 1m0s --discoveryAddress istio-pilot.istio-system:15007 --discoveryRefreshDelay 1s --zipkinAddress zipkin.istio-system:9411 --connectTimeout 10s --proxyAdminPort 15000 --controlPlaneAuthPolicy NONE
istio-p+    16     1  0 02:26 ?        00:03:37 /usr/local/bin/envoy -c /etc/istio/proxy/envoy-rev0.json --restart-epoch 0 --drain-time-s 45 --parent-shutdown-time-s 60 --service-cluster reviews --service-node sidecar~10.2.53.61~reviews-v3-748456d47b-6jvsp.default~default.svc.cluster.local --max-obj-name-len 189 --allow-unknown-fields -l warn --v2-config-only
istio-p+    39     0  0 13:07 ?        00:00:00 ps -ef

這個容器中主要運行了兩個進程：

pilot-agent：負責生成Envoy啓動所需的配置文件，指定了鏈接istio控制面的服務和端口，並負責啓動Envoy進程。
envoy：其中指定的/etc/istio/proxy/envoy-rev0.json文件是當前pod的網絡流量的核心配置，經過此文件獲取pilot的地址，其中記錄了當前的POD信息和流量的轉發規則，pilot會與其創建長鏈接，並向其推送最新更新的網絡策略。

經過對envoy-rev0.json文件進行分析，咱們能夠發現其主要包含了以下幾個部分：

node: 包含了當前Pod信息，包括ID，IP，servicename,namespace等。
stats_config：定義了一些命名規則和對應的正則參數
admin：給出了一組本地IP 127.0.0.1和15000管理端口，能夠登陸此容器執行curl http://127.0.0.1:15000/help 獲取當前POD的接口和狀態信息
dynamic_resources：定義了xDS的服務發現配置
static_resources：定義了鏈接控制面的信息，包括鏈接pilot組件的服務地址，以及超時時間設置和鏈接數限制等配置信息。
tracing：主要定義了zipkin的接口等信息，用於追蹤業務流量的走向。

登陸istio-proxy查看監聽的端口,其中80端口爲業務容器提供服務的端口：

$ netstat -lntp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 0.0.0.0:15001           0.0.0.0:*               LISTEN      13/envoy        
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      -               
tcp        0      0 0.0.0.0:15090           0.0.0.0:*               LISTEN      13/envoy        
tcp        0      0 127.0.0.1:15000         0.0.0.0:*               LISTEN      13/envoy        
tcp6       0      0 :::15020                :::*                    LISTEN      1/pilot-agent

15001: Envoy的入口監聽器，iptable會將pod的流量導入該端口中由Envoy進行處理
15000: Envoy管理端口，該端口綁定在本地環回地址上，只能在Pod內訪問。

數據面組件啓動流程

流程圖示：

initContainer執行初始化腳本，爲Pod添加iptables規則
Pilot-agent根據啓動參數和K8S API Server中的配置信息生成Envoy的初始配置文件envoy-rev0.json，該文件告訴Envoy從xDS server中獲取動態配置信息，並配置了xDS server的地址信息，即控制面的Pilot。
Pilot-agent使用envoy-rev0.json啓動Envoy進程。
Envoy根據初始配置得到Pilot地址，採用xDS接口從Pilot獲取到Listener，Cluster，Route等d動態配置信息。
Envoy根據獲取到的動態配置啓動Listener，並根據Listener的配置，結合Route和Cluster對攔截到的流量進行處理。

Envoy配置文件結構

Envoy中實際生效的配置是由初始化配置文件中的靜態配置和從Pilot獲取的動態配置一塊兒組成的。所以只對envoy-rev0 .json進行分析並不能看到Mesh中流量管理的全貌。那麼有沒有辦法能夠看到Envoy中實際生效的完整配置呢？答案是能夠的，咱們能夠經過Envoy的管理接口來獲取Envoy的完整配置：

kubectl -n yak exec yak-files-7d48cd48f-tf75f -c istio-proxy curl http://127.0.0.1:15000/config_dump > config_dump

查看此文件的結構：

{
    "configs":[
        {
            "@type":"type.googleapis.com/envoy.admin.v2alpha.BootstrapConfigDump",
            "bootstrap":Object{...},
            "last_updated":"2019-05-08T08:07:28.221Z"
        },
        {
            "@type":"type.googleapis.com/envoy.admin.v2alpha.ClustersConfigDump",
            "version_info":"2019-05-09T08:36:01Z/4",
            "static_clusters":Array[3],
            "dynamic_active_clusters":Array[96]
        },
        {
            "@type":"type.googleapis.com/envoy.admin.v2alpha.ListenersConfigDump",
            "version_info":"2019-05-09T08:36:01Z/4",
            "static_listeners":Array[1],
            "dynamic_active_listeners":Array[57]
        },
        {
            "@type":"type.googleapis.com/envoy.admin.v2alpha.RoutesConfigDump",
            "static_route_configs":Array[3],
            "dynamic_route_configs":Array[17]
        }
    ]
}

配置中主要包含了以下幾部分：

bootstrap：文件中的內容和以前介紹的envoy-rev0.json是一致的
clusters: 是一個服務集羣，包含一個到多個endpoint，每一個endpoint均可以提供服務，Envoy根據負載均衡算法將請求發送到這些endpoint中。
- static_clusters: 是來自於envoy-rev0.json的xDS server和zipkin server信息。
- dynamic_active_clusters : 是經過xDS接口從Istio控制面獲取的動態服務信息。
listeners: Envoy採用listener來接收並處理downstream發過來的請求，listener的處理邏輯是插件式的，能夠經過配置不一樣的filter來插入不一樣的處理邏輯。
- static_listeners
- dynamic_active_listeners
routes: 配置Envoy的路由規則。Istio下發的缺省路由規則中對每一個端口設置了一個路由規則，根據host來對請求進行路由分發。
- static_route_configs
- dynamic_route_configs