宿主機的容器是如何經過docker0通訊的？

做者：雪山飛豬

 

 

1、什麼是容器網絡棧

所謂容器能看見的「網絡棧」，被隔離在本身的Network Namespace當中

1. 網卡（network interface）

2. 迴環設備（loopback device）

3. 路由表（Routing Table）

4. iptables規則
   固然 ，容器能夠直接聲明使用宿主機的網絡棧：-net=host（不開啓Network Namespace），這樣能夠爲容器提供良好的網絡性能，可是也引入了共享網絡資源的問題，好比端口衝突。
   大多數狀況下，咱們但願容器能使用本身的網絡棧，擁有屬於本身的IP和端口

2、容器如何和其餘不一樣Network Namespace的容器交互 ？

1. 將容器看作一臺主機，兩臺主機通訊直接的辦法，就是用一根網線鏈接，若是是多臺主機之間通訊，就須要用網絡將它們鏈接到一臺交換機上

2. 在linux中，可以起到虛擬交換機做用的設備是網橋（Bridge）
   網橋是一個工做在數據鏈路層的設備，功能是根據MAC地址學習來將數據包轉發到網橋不一樣端口上，爲了實現上述上的，Docker項目默認在宿主機上建立了一個docker0的網橋，鏈接在上面的容器，能夠經過它來通訊

3、如何把容器鏈接到docker0網絡上

須要一種叫Veth Pair的虛擬設備。當Veth Pair被建立出來後，老是以兩張虛擬網卡（Veth Peer）的形式成對出現 ，並且從其中一個網卡出的數據包，能夠直接出如今它對應的另外一張網卡上，即便兩張卡在不一樣的Network Namespace裏
這就使Veth Pair經常被用做鏈接不一樣的Network Namspace的網線

4、示例演示

下面將在宿主機啓動兩個容器，分別是nginx-1和nginx-2演示，nginx-1容器訪問nginx-2是如何通訊的

1. 運行一個nginx-1容器

docker run -d --name=nginx-1 nginx

2.查看nginx-1的網絡設備

root@d5bfaab9222e:/# ifconfig
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
        inet 172.18.0.2 netmask 255.255.0.0 broadcast 172.18.255.255
        ether 02:42:ac:12:00:02 txqueuelen 0 (Ethernet)
        RX packets 3520 bytes 8701343 (8.2 MiB)
        RX errors 0 dropped 0 overruns 0 frame 0
        TX packets 3010 bytes 210777 (205.8 KiB)
        TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING> mtu 65536
        inet 127.0.0.1 netmask 255.0.0.0
        loop txqueuelen 1000 (Local Loopback)
        RX packets 0 bytes 0 (0.0 B)
        RX errors 0 dropped 0 overruns 0 frame 0
        TX packets 0 bytes 0 (0.0 B)
        TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

eth0的網卡，是Veth Pari設備的其中一端

3.查看nginx-1的路由表，經過route命令查看

root@d5bfaab9222e:/# route
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
default 172.18.0.1 0.0.0.0 UG 0 0 0 eth0
172.18.0.0 0.0.0.0 255.255.0.0 U 0 0 0 eth0

全部172.18.0.0/16網段的請求，都交給eth0處理，這是Veth Pair設備的一端，另外一端在宿主機上

4.查看宿主機的網橋

經過brctl show查看

root@VM-0-8-ubuntu:/home/ubuntu# brctl show
bridge name bridge id   STP enabled interfaces
docker0 8000.0242c635ddb8   no  veth4d1c130

能夠看到，docker0上插入上veth4d1c130網卡

5.再運行一個nginx-2

docker run -d --name=nginx-2 nginx

6.再查看宿主機網橋

root@VM-0-8-ubuntu:/home/ubuntu# brctl show
bridge name bridge id   STP enabled interfaces
docker0 8000.0242c635ddb8   no  veth4d1c130
       vetha9356e9

能夠看到，docker0插上了兩張網卡veth4d1c130、 vetha9356e9

此時，當容器nginx-1（172.18.0.2）ping容器nginx-2（172.18.0.3）的時候，就會發現兩個容器是能夠連通的

5、nginx-1能訪問nginx-2的原理是什麼？

被限制在Network Namespace的容器進程，是經過Veth Pair設備+宿主機網橋的方式，實現跟其它容器的數據交換

1.nginx-1訪問nginx-2時，IP地址會匹配到nginx-1容器的每二條路由規則

172.18.0.0 0.0.0.0 255.255.0.0 U 0 0 0 eth0

凡是匹配這條規則 的IP包，應該通過本機的eth0網卡，經過二層網絡發往目的主機

2.要經過二層網絡到達nginx-2 ，須要有172.18.0.3的MAC地址，找到

nginx-1容器須要經過eth0網卡發送一個ARP廣播，經過IP來查看對應的MAC地址
這個eth0網卡，是一個Veth Pair，它的一端在nginx-1容器的Network Namespace，另外一端位於宿主機上（Host Namespace），而且插入在了宿主機的docker0網橋上
一旦虛假網卡（veth4d1c130）被插在網橋（docker0）上，調用網絡的數據包會被轉發給對應的網橋，因此ARC請求會被髮給docker0

3.docker0轉發數據到到相應的nginx-2

docker0會繼續扮演二層交換機的角色，根據數據包的上的MAC地址（nginx-2的MAC地址），在它的CAM表裏查對應的端口，會找到vetha9356e9，而後將數據包發往這個端口，這樣數據包就到了nginx-2容器的Network Namespace裏
nginx-2看到它本身的eth0網卡上出現了流入的數據包，而後對請求進行處理，再返回響應給nginx-1

能夠打開iptables的TRACE功能查看數據包的傳輸過程，經過tail -f /var/log/syslog

# iptables -t raw -A OUTPUT -p icmp -j TRACE
# iptables -t raw -A PREROUTING -p icmp -j TRACE

原理圖以下