跳转至

从虚拟网卡到隧道:一条容器网络路径

先修:监听地址和端口、地址和子网、地址转换(NAT)、从 IP 地址找到网卡地址(ARP)。

读完能做:画出两个容器从同机互访到跨机器互访的路径,标出何时改变地址、何时给原来的数据再套一层。

在同一台机器上部署两份服务时,两个程序如果同时申请在同一地址的 8000 端口收请求,后启动的那个通常会失败。Linux 可以把程序的网络配置隔开,让它们各自看到一套网卡、转发规则和可用端口。这样的独立网络视图叫作网络命名空间(network namespace),容器通常会用到它。分开以后,两份服务可以各自监听 8000,但 A 如何把请求送到 B?我们先在同一台机器上接通它们,再把 B 搬到另一台。

给隔离的进程接网线

运行容器的机器叫作宿主机。从容器里的程序看来,eth0 和普通网卡一样可以收发数据,但它实际上是一根软件网线的一端。Linux 把这对虚拟以太网接口叫作 veth 对,从一端发出的以太网帧会在另一端出现。把 A、B 两根软件网线的宿主端接到同一座网桥,就像用两根网线把两台电脑接到一台交换机。网桥可以按以太网帧中的目的地址(MAC 地址)决定从哪个口送出。应用仍用 IP 地址找 B。要把这份数据送上眼前这段网线,A 还需要知道 B 的 MAC 地址。

假设 A 地址为 10.20.0.2,B 为 10.20.0.3,两者都在同一台宿主机上,也在 10.20.0.0/24 这个子网。/24 表示前 24 位是网络编号,在这个例子里也就是地址的前三段 10.20.0。A 和 B 各有一对 veth,一端留给容器当网卡,另一端接到宿主机的虚拟网桥 br0。

容器 A                        宿主机                         容器 B
eth0 ── veth 对 ── 宿主端口 a ── br0 ── 宿主端口 b ── veth 对 ── eth0
10.20.0.2/24                                             10.20.0.3/24

现在 A 从本地临时端口 49152 连接 B 的 8000。沿着第一个 TCP 连接请求看一遍:

步骤 谁在做决定 这一步用的地址或状态
查路由 A 的网络视图 目标 10.20.0.3 属于本地 /24 子网,下一跳就是 B
找链路地址 A 的地址解析协议(ARP) 若没有缓存,A 向这个网段所有设备发问「谁拥有 10.20.0.3」,B 回复自己的 MAC 地址
过虚拟网线 A 的 veth A 把目标为 B 的 IP 包放进一个以太网帧,帧的目的 MAC 地址也是 B 的,接着从宿主端口 a 出来
过网桥 br0 网桥从经过的帧学习「源 MAC 在哪个端口」。已经知道 B 的 MAC 在哪里就只发往那里;还不知道时,先发往同一网桥的其他端口,称为泛洪
找应用 B 的网络视图 B 收到发往 10.20.0.3:8000 的连接请求,交给监听该地址和端口的程序

这条同子网路径上,A 和 B 的 IP 不需要改变。127.0.0.1 是只指向当前网络视图自己的地址,称为回环地址。如果 B 只监听 127.0.0.1:8000,帧仍可能成功到达 B 的网卡,但到达的地址 10.20.0.3 和程序监听的地址对不上。

访问外网和访问宿主机入口

目标换成子网之外的地址时,A 把包交给负责把数据转出本子网的设备,即默认网关。如果外部网络不知道怎么回到 A,宿主可以在包出去时把发送者改成外部可达的宿主地址,这就是源地址转换(源 NAT)。宿主记住转换前后的地址和端口,回来时据此把响应送回 A,这种维护连接状态的做法叫作连接跟踪。Docker 的 IPv4 桥接网络可以按配置使用这个办法,也可以让外部网络直接认识容器子网。

反过来,若希望用宿主机上的 127.0.0.1:18000 访问 B 的 8000,就要发布这个端口。它为宿主地址和容器的监听点建立一条转发路径,后端可由地址转换或代理等方式实现。两个容器各自可以用内部的 8000,只要发布到同一个宿主 IP 时选择不同的宿主端口即可。这个例子只绑定宿主回环,适合在本机练习。端口发布和容器出站 NAT 解决的是两个方向上的问题。

两个容器能互访,为什么宿主机发布的端口还可能不通?

从客户端开始查三件事。第一,入口接在哪个地址:上例只发布到宿主 127.0.0.1:18000。在另一台电脑访问 127.0.0.1 时,请求会留在那台电脑。改用宿主的局域网 IP 时,地址也没有匹配这条回环发布规则。第二,转发到什么位置:发布规则应指向 B 的 8000,而 B 上的程序也要监听能从桥接接口访问的地址。第三,沿途规则是否放行:Linux 上 Docker 的桥接和发布会用到包过滤及转发规则,需看请求实际经过的路径和生效规则。

同机容器互访成功只测到了它们之间的路径。诊断发布端口时,可以先分别记录容器间、宿主本机和另一台机器的测试结果,再用它们缩小问题范围。网桥与防火墙讨论 · Docker 包过滤文档

从一台宿主机扩展到两台

两台宿主机可能已经互相可达,而两边的容器地址在现有网络里没有路由。第一台宿主可以给里面原有的帧再套一个外层包,写上第二台宿主的地址。第二台宿主收到后拆掉这一层,再查看里面的地址。这样的路径叫作隧道,建在现有网络上的逻辑网络叫作覆盖网络。加一层包装会占掉一部分可用空间。若希望途中设备读不到里面的内容,可以使用加密隧道。

保留 A、B 的内部地址,把它们分别放到外部地址为 192.0.2.10 和 192.0.2.20 的两台宿主机上。假设这套覆盖网络延伸了同一个二层网段,第一台宿主把内部帧放进发往第二台宿主的外层包。底层路由只需把外层包送到 192.0.2.20;第二台宿主拆掉外层,再把内部帧送给 B。

外层:192.0.2.10 ── 底层路由据此找第二台宿主 ──→ 192.0.2.20
  内层:10.20.0.2 ── 拆开后按原地址交给 B ──→ 10.20.0.3

一条链路最多能直接承载多大的 IP 包,称为最大传输单元(MTU)。假设底层 MTU 为 1500 字节,可以用 VXLAN 把原来的以太网帧装进外层 UDP 包。接收方根据 VXLAN 首部里的虚拟网络编号,把内层帧交给对应的网络。假设外层 IPv4 没有额外选项,内层以太网帧也没有额外标记,那么从外到内,IPv4 首部占 20 字节,UDP 占 8 字节,VXLAN 占 8 字节,内层以太网首部占 14 字节,共 50 字节。内层 IP 包就只剩约 1500 − 50 = 1450 字节的空间。路径不允许把过大的包拆成小包、两端还都认为可以发 1500 时,就可能出现小请求成功、大响应失败。实际值要按封装、链路及额外头部计算。另一种设计是为容器子网提供直接路由,省去封装,同时需要让底层网络认识这些子网。

要解决的问题 对应机制
容器各自有接口、端口和路由表 网络命名空间
连接两个虚拟接口 veth 对
同一二层网络内转发帧 网桥
跨子网按目标前缀转发 路由
变更地址或端口并在返回时匹配 NAT
在现有网络上传输另一套逻辑网络的数据 隧道与覆盖网络
要求链路上的中间节点看不到明文 加密协议

远程访问工作站时,若节点都没有可直接接收外来连接的公网地址,可以用覆盖网络把设备连起来,再约定哪些设备可以互访。能否直接互连取决于沿途地址转换和放行规则。必要时两边可以通过都到得了的第三方设备转发,这个设备叫作中继。多绕一站,通信速度也可能受它限制。Tailscale 是一个应用例子。能经虚拟网络到达服务,应用端仍需按自己的规则认证与授权。

把这张图用到 Kubernetes

多台机器上的容器由 Kubernetes 统一管理时,它会把一个或多个需要一起运行的容器放在同一台机器上,作为一组安排和启动,称为 Pod。典型设置中,不同 Pod 各有自己的网络视图和 IP 地址。如果把 A、B 放进两个 Pod,它们可以都监听 8000。同一个 Pod 内部的容器共享网络视图,可以通过 localhost 互访,也要避免争用同一监听地址。运行 Pod 的机器称为节点。节点上的运行程序需要给 Pod 接上网络,可以按容器网络接口(CNI)这套约定调用网络插件。例如,新建 Pod 时调用插件为它配置网卡和地址,删除时再清理。至于不同节点上的 Pod 怎么连通,各网络方案可以选择网桥加隧道或直接路由,支持的放行策略也可能不同。CNI 规范

例如,B 的 Pod 重建后换成了 10.20.0.4。如果 A 一直写死旧地址 10.20.0.3,连接就会失败。可以增加一个名字稳定的入口,再把入口背后的实际地址更新为 10.20.0.4。Kubernetes 用 Service 表示这样的入口,下一课会沿同一个服务名追到新的后端。排查时先分清问题出在 Pod 自己的监听、Pod 之间的送达,还是 Service 没有可用后端。能路由到目标也不代表所有应用都能访问它,具体放行还要看应用授权及网络插件所执行的策略。

自测

如果同一宿主机上的两个容器可以互访,但不同节点的容器间只有小请求成功,大响应超时,你会检查哪两项?

参考思路

检查跨节点流量实际走哪条路径,以及封装后有效 MTU 和相关反馈是否正常。也要结合抓包位置与 TCP 重传判断,避免直接把所有超时归因于 MTU。

延伸见 Linux veth与 Tailscale 连接类型。

桥接和端口发布的实际选项见 Docker 网桥文档。封装格式见 RFC 7348。Pod、Service 和网络插件的分工可对照 Kubernetes 网络概念。