综合练习:跟完一次 MatrixInfra 任务¶
这里用 MatrixInfra 作为训练平台案例。先把它看成一项服务:接收「要跑哪个程序、用什么数据」的请求,把工作分到机器上,再登记运行结果。建议先读集群任务路径和产物与恢复,也可以跟着这页的时间线边看边查。
先拿一张任务事件表再调试¶
设训练任务 J7 在 10:00 提交,10:05 获得资源配额,10:12 选中运行机器,10:14 启动,10:40 保存第一份能在重启后继续计算的状态(checkpoint)。先把五个事件抄成一行,再算提交到启动的 14 分钟:配额等 5 分钟,选机器(放置)等 7 分钟,启动花 2 分钟。恢复点属于已经运行后的工作,不能拿来解释之前的排队。
第二次尝试也产出了同名 checkpoint,怎样区分?
用任务号加尝试编号关联日志和产物位置。若一个恢复点由多份文件组成,就按发布清单核对文件是否齐全。显示名字相同不足以证明它们是同一次执行。
目标:用可观察的阶段定位问题,并根据工作负载选择指标。可以只在纸面或本地模拟完成。
给一个微调任务做记录¶
假设我们要用一批新的数据继续训练一个已有模型,这叫微调。任务要求两张同机 GPU。输入包括代码、模型、数据各自的版本。Recipe 是写明运行环境和启动命令的配置。若对照表里的准入、放置和挂载仍不熟,可以边读边用任务 J 的时间线找对应步骤。提交后沿如下时间线记录,每一行都写下标识和下一步可查的证据。
| 时刻 | 观察 | 下一步要核对 |
|---|---|---|
| 0 | API 返回任务 ID | 期望配置、项目身份与数据引用 |
| 2 | 仍等待准入 | 队列、配额、优先级与准入条件 |
| 4 | 已准入,等待节点 | GPU 数量、拓扑及节点约束 |
| 6 | 容器启动 | 镜像摘要、挂载、设备与应用日志 |
| 15 | 发布 checkpoint 1 | 完整性、写权限、尝试 ID 与可恢复状态 |
| 19 | 节点失联 | 心跳时间、重试条件、最后一份完整 checkpoint |
| 26 | 新尝试完成 | 产物版本、运行来源、指标和结果登记 |
平台的控制信息与模型或数据字节有各自路径。任务记录指向特定数据,运行时仍需通过它所在机器可访问的存储读取数据。诊断启动慢时分开记录排队、放置、拉取镜像、数据准备和程序初始化。要分析 GPU 空闲,继续分辨等待 CPU、磁盘、设备拷贝还是多机通信。
不同工作负载怎样比较¶
运行的工作不同,关心的指标也不同。训练是用数据调整模型,推理是用已有模型产生结果。文本模型通常按词元(token)逐步生成内容,一个词元可能是一个字、一个词或词的一部分。用户在线等回答时,可以记录发请求后多久收到第一个词元,以及最慢的一小部分请求要等多久(尾延迟)。同一时刻来了许多请求,也可以把它们分到不同服务实例处理,这叫负载均衡;或把多个输入合成一批,让设备一次处理,这叫批处理。
| 工作负载 | 平台优先关心 | 可以记录 |
|---|---|---|
| 训练、微调 | 多设备同时就绪、进度和重启恢复 | 每批耗时、分配 GPU 时间、checkpoint 间隔 |
| 在线推理 | 服务可用、负载均衡与批处理的权衡 | 首个 token 延迟、输出速率、尾延迟和错误率 |
| Rollout 采样(批量让模型生成样本) | 任务并发、失败重试、生成结果的归属 | 每秒生成的样本数、丢弃或重试数、输入和模型版本 |
| Benchmark(用固定任务测性能) | 输入和运行环境可复现 | 配置、版本、样本集和可比较的性能指标 |
| Agent 执行(模型根据结果接着调用工具) | 长驻会话、工具权限与隔离 | 会话和任务 ID、状态、授权操作和恢复记录 |
推理批量增大通常有机会提高设备吞吐,排队时间也可能增加。对比在线推理与离线采样时,先确定谁在等结果、是否容许等待,以及吞吐量按请求、样本还是 token 计算。
练习¶
- 将「运行任务等了 20 分钟」拆成准入、节点、启动和执行时间。若只有总耗时,说明还缺哪几条事件。
- 假设时刻 18 正在写 checkpoint 2,时刻 19 失联。找出可以恢复到哪一步,列出选择 checkpoint 2 所需的证据。
- 为在线推理和离线采样各定一个告警条件,并解释它们与用户等待方式的关系。
- 写出任务读取私有模型、写公开评估结果、运行中调用外部服务时分别需要的授权和审计信息。
延伸见 MatrixInfra 公开文档及网络课程的 Agent 工作站练习。