服务发现、代理与负载均衡¶
后台从 A 换到 B,客户端为什么还能用同一个名字?¶
设客户端一直连接 api.example.test。如果这个名字直接指向 A,从 A 换成 B 时,仍记得 A 地址的客户端可能继续找 A。于是我们在中间安排一个稳定入口,由它替服务器接住请求,再交给实际处理请求的程序。这类入口称为反向代理,A 和 B 称为它的后端。部署 B 时,先让它准备好处理请求,再把它加入可用列表,最后让 A 完成已经接手的请求。入口没变,客户端仍用原来的名字。
为什么 B 进程已经启动,还不急着把流量切给它?
例如处理图片的服务已经启动,却还没加载运行所需的数据,暂时不能接请求。入口可以先发一条小请求,检查 B 是否已具备接收业务的条件。这叫就绪检查。切换后还要给旧连接留出结束的机会。
读完能做:从一个服务名追到一个实际后端,解释后端替换时每一层负责更新什么。
从一个地址变成一组地址¶
假设客户端调用 api.example.test,后端 A 重启后地址变了,B 新加入。客户端需要一个比较稳定的服务入口;代理或客户端需要知道有哪些后端可以使用,这个过程叫作服务发现。一个端点(Endpoint)给出「哪里可连」,例如 10.20.0.3:8000,是否可以开始接收业务还要看就绪信息。如果让 DNS 直接返回后端地址,客户端可能直到缓存有效期(TTL)结束后才看到变化。缩短有效期可以更快更新,同时会增加查询次数。
谁来更新后端列表?可以由负责观察运行状态的程序(控制器)来做,也可以让后端在上线时把信息写到服务登记表里。这样一来,处理实际请求和维护后端名单就可以各司其职。
客户端 → DNS 解析 → 服务入口地址
客户端 → TCP/TLS → 反向代理 → 选后端 A 或 B → 应用进程
控制器或服务注册信息 ──────────────────→ 后端地址和就绪状态
图的第二行实际传递连接、请求和响应,这一侧叫数据平面。第三行负责告诉代理现在哪些后端可用,这一侧叫控制平面。只更新后端列表,已经建立并保持开启的连接可能继续走到 A。连接排空就是让 A 先停止接新的连接,留一段时间给已有连接收尾。超过等待时间后,客户端还需要有办法重新连接。
四层和七层分别看得见什么¶
有多个后端时,按规则把连接或请求分给其中一个,就是负载均衡。按 OSI 分层的说法,第四层是传输层,第七层是应用层。前者可以按连接信息选后端,后者还能按 HTTP 请求里的信息选择,例如把 /images 送到专门存图片的服务。对于 HTTPS,如果加密连接在代理处结束,代理才能解出请求内容并读取 /images。这个代理解密的位置叫 TLS 终止点。
| 方式 | 常见决策依据 | 适用与代价 |
|---|---|---|
| 四层负载均衡 | 连接的地址、端口和协议等 | 可以处理多种传输层服务,通常看不到加密后的应用内容 |
| 七层反向代理 | HTTP 请求里的站点名(Host)、路径或请求方法 | 可以按业务规则选择后端并记录请求,需要处理应用协议。遇到 HTTPS 时还要安排在哪里解密 |
系统可以定时发一个测试请求或读取一项状态来了解服务是否正常,这样的探测叫健康检查。「进程还活着」「已完成启动」「可以接收请求」是三种状态。只有就绪后才发流量,避免请求落到还没加载好模型的进程;短暂下游抖动时,贸然重启所有实例反而会削弱服务容量。连接超时、总请求超时和空闲超时也要分别设定。
把原来的两个容器接到稳定入口¶
沿用上一课的 A 和 B。假设集群内的服务 web 有一个稳定地址 10.96.0.10:80,目前唯一可用的后端是 10.20.0.3:8000。A 可以用服务名找到入口,再向入口建立连接。B 重建后获得新地址 10.20.0.4,仍监听 8000。等它准备好,Kubernetes 更新 Service 对应的后端集合。A 新建连接时仍可使用原入口。旧连接已经指向旧后端,是否能继续要看旧进程是否还在服务,必要时客户端重新连接。这是默认类型 ClusterIP Service 的一个简化例子,其中 ClusterIP 指集群内部使用的服务地址。Kubernetes Service 文档
练习¶
假设服务名能解析,TLS 正常,但代理返回 503 Service Unavailable,表示暂时无法提供服务。画出已经成功的路径,列出两个下一步动作。再设想客户端请求已经送到后端,但响应超时。什么时候可以安全重试?
参考思路
先看代理是否有就绪的入口,以及代理到后端的网络和应用监听。超时后要根据操作语义判断,例如提交任务没有等到响应时,服务器可能已经创建了任务。可以让客户端重试时带上原提交的唯一标识,由服务器据此返回同一份结果。这个标识叫幂等键。还要给重试次数和总时间留出预算。