任务失败以后:幂等、产物和恢复¶
客户端看到一次超时,服务端可能已经成功¶
用时间线推演一次任务提交。时刻 0,提交任务的一端(客户端)发送请求,带上自己给这次操作取的标识 demo-42;时刻 1,接收请求的一端(服务端)把标识和任务号 J7 保存下来,重启后也能找到;时刻 2,响应在返回前断开。客户端带着原标识重发,服务端读到旧记录,仍返回 J7。同一操作做一次或重复多次,产生的效果相同,这叫幂等;这个用来识别重复操作的标识叫幂等键。
如果第二次请求复用键,却换了模型参数呢?
应比较这次请求和已记录的内容。复用键只适用于同一个业务操作,参数不同应报告冲突,避免把一份新意图悄悄绑定到旧任务。
读完能做:区分重发提交请求、重新运行任务和从上一次保存的状态(checkpoint)继续,知道每一步要保留什么证据。
超时意味着结果未知¶
客户端用 HTTP 的提交请求(POST)创建任务时,请求可能未到达,也可能任务已创建、回应丢了。重发相同请求如果会创建新 ID,就可能启动两份工作。一个常见设计是为同一次业务操作复用幂等键,让服务端以「两项一起成功或一起不生效」的方式记录键与任务 ID。同键同内容返回已有结果,同键不同内容报告冲突。客户端先查询进度,暂时性错误可以稍等再试,多次失败就逐步延长间隔,这种重试策略叫退避。
接收端记录幂等键需要存储和过期策略。保留时间短于客户端可能重试的窗口,仍可能出现重复。运行层重试也需要独立的尝试编号,以便把各次日志、退出码和产物对应到同一任务。
从部分故障恢复¶
机器还在运行,只是我们暂时收不到它的消息,就是可能遇到的一种部分故障。任务可以定期发消息报平安(心跳);平台也可以用带到期时间的凭证(租约)规定谁有权提交结果。两者分别回答「最近听到它的消息了吗」和「现在谁还能写结果」。
| 看到的现象 | 先问什么 | 恢复时要保留什么 |
|---|---|---|
| 心跳超时 | 进程真停了,还是暂时失联 | 签发的租约、身份和状态时间 |
| 进程退出 | 是暂时性故障还是可重复的配置错误 | 退出码、最近事件与尝试编号 |
| 文件只写了一半 | 有无可识别的完整版本 | 写完的标记、用来核对内容的值、上一份完整恢复点 |
心跳是带超时假设的一条信号。需要避免旧任务在失联后恢复并覆盖新任务的结果,可以给每次尝试独立输出位置,且只允许当前授权尝试发布最终引用。健康检查应区分服务能否接收流量与进程是否要重启。
目录记录和数据位置¶
训练任务写出的结果文件、模型或报告叫产物。它的目录记录可以包含任务与尝试编号、数据集版本、代码版本、镜像摘要、生成时间和存储位置。还可以记录校验值,即从内容算出来、用来核对字节是否一致的数值。目录记录只是指向实际文件,登记一条记录不会搬运文件。使用前验证读权限和完整性。
文件可以只放在当前机器,也可以由多台机器访问同一个目录(共享文件系统)。对象存储通常通过对象名读写整份数据;若一个结果由多份对象组成,可以用一份写明完整版本所含对象的清单指向它们。下面比较保存完成时各自需要检查什么。
| 存储 | 提交结果时关注 |
|---|---|
| 本地文件系统 | 同一文件系统内的提交步骤,以及主机故障后是否还能访问 |
| 共享文件系统 | 共享可见性、故障域、并发写入与挂载权限 |
| 对象存储 | 对象版本、提交清单、校验与多对象产物的发布条件 |
保存一个文件时,可以先用临时名字写完,通过刷盘请系统把数据落到持久存储,再在同一目录里改为最终名字。若还要在断电后保住新文件名,则要确认该文件系统怎样把目录的名称变化也保存下来。一个恢复点若由多份文件组成,可以先写完并校验每一份,再发布列全了这些文件的清单。恢复时选择最近的完整版本,按照程序要求还原模型参数、训练进度和决定下次如何更新参数的计算状态。日志、指标与追踪可以关联诊断,但重启后还需要可恢复的任务和产物状态。
自测¶
发送方提交超时,后来看到两个容器都打印了同一任务名。你先查什么?
参考思路
查任务 ID、幂等键和尝试编号,区分重复提交、正常重试或旧尝试未退出。再查哪一次被允许发布产物,避免仅看日志文本就选择 checkpoint。