跳转至

集群编排:提交、准入、放置与执行

先修:单机调度、从镜像到进程。

读完能做:拿任务状态解释它在等谁,分清平台、集群和节点的职责。

在单机调度实验里,我们只需问「这颗 CPU 接下来运行谁」。现在两个团队共享两台机器,这组一起管理的机器叫集群,其中每台称为一个节点。两台机器共有四张 GPU 卡,这类设备适合并行处理大量相似计算。每个团队都有自己的资源预算,即配额。有些任务需要同一台机器上的两张卡,机器上的软件环境也可能不同。

于是我们得分开做几个决定:提交是记下任务要求,准入是判断能否把预算留给它,放置是选出实际运行的机器,最后才由那台机器准备环境、启动程序。把这些步骤和执行顺序组织起来,就是这里说的编排。

先写一份最小任务请求

设任务需要两张 GPU,在同一台机器运行,输入为数据集 D 的第 3 版,启动时用一份指定的镜像。在请求里记下镜像的摘要(由内容计算的标识),就能指向这份具体内容。提交接口(API)把这些期望存下来。负责反复比较期望和现状的程序叫控制器。它可以根据用户请求,另建一条启动用的记录,写明要运行的容器、命令和资源。这条记录就是下面的执行对象。负责根据资源选机器的程序叫调度器。只返回「接收成功」时,平台可能还没拿到资源,也可能还没开始启动容器。

阶段 谁作决定 一个常见等待原因
提交 API 校验任务、身份、配置,并记录用户意图 数据集引用或权限校验未通过
生成执行对象 控制器准备实际启动要用的记录 启动所需的配置尚未就绪
准入 按队列规则核对配额和其他放行条件 项目配额不足
放置 调度器根据资源和约束选择可行节点 两个节点分别只有一张空闲 GPU
启动与执行 选中的机器按记录准备容器,再交给内核运行 下载镜像失败、设备还没准备好或进程退出

这是一组职责;不同任务集成方式的对象创建和状态更新时间可以不同。教学上允许把阶段画成「已提交 → 等待准入 → 等待放置 → 启动中 → 运行中 → 终止」,把失败、取消与重试明确画成分支。

跟着任务 J 走一遍

J 用同一台机器的两张 GPU。两台机器叫 N1 和 N2,每台各有两张卡,一开始各被其他任务占用一张。J 所属团队起初只剩 1 张卡的配额。配额是团队可以申请到的资源预算。这里的空闲卡是某台机器还没分给其他任务的卡,即使已经分配的卡当前没有计算,也不能再分一遍。节点准备任务时,还要把数据目录接入容器的文件树,这一步叫挂载。我们在每个时刻只改一个条件。

时刻 发生的事 J 的下一步
0 API 校验配置,记下任务 J 提交成功,开始等待准入
1 配额检查发现团队只能再用 1 张卡 J 要 2 张,继续等配额
2 团队可用配额增加到 2 张 简化模型预留额度,J 获准。N1、N2 都只有 1 张空闲卡,仍无法选机器
5 N1 上的旧任务结束,N1 现在空闲 2 张 N1 满足同机约束,调度器选中 N1 来运行 J
6 N1 仍在拉取镜像 已经放置,等待节点准备执行环境
8 拉取和挂载完成,进程启动 进入运行,开始看程序日志和资源使用

时刻 2 是最容易混淆的一步。假如只把两台机器的空闲卡相加,确实有两张,但这一条任务要在一台机器拿到两张,所以两个位置都不合适。这样的剩余空间称为资源碎片。真实的准入也可以结合拓扑,即资源分布在哪些机器、机架或其他位置关系,在更早阶段发现问题。这里把两步拆开,便于观察预算和物理放置分别改变了什么。

先预测:如果时刻 5 空出一张的是 N2,会发生什么?

若 N2 原来占用的一张卡被释放,它也会从一张空闲变成两张空闲。此时 N2 成为可行位置。如果两台同时满足,调度还可对符合条件的机器评分,例如考虑剩余资源和已有任务分布。若时刻 6 镜像一直拉取失败,应去查节点启动事件;增加团队配额不会让这一步自动成功。

不装集群,也能重放四个时刻

下面把同机任务抽成三个判断。team_free 是剩余配额,free_by_node 记录每台机器的空闲卡数,ready 把镜像、挂载和启动是否成功简化为一个值。逐行改动输入,看最早在哪一步停住。

def observe(needed, team_free, free_by_node, ready):
    if team_free < needed:
        return "waiting for quota"
    eligible = [name for name, free in free_by_node.items() if free >= needed]
    if not eligible:
        return "waiting for node"
    return "running" if ready else "starting"

print(observe(2, 1, {"N1": 1, "N2": 1}, False))  # waiting for quota
print(observe(2, 2, {"N1": 1, "N2": 1}, False))  # waiting for node
print(observe(2, 2, {"N1": 2, "N2": 1}, False))  # starting
print(observe(2, 2, {"N1": 2, "N2": 1}, True))   # running

每行输入都是同一个任务的教学快照:配额和空闲资源按该次放置前所见填写。真实系统会记录已预留的额度和已经绑定的节点,进入运行后应跟踪绑定及节点状态。这段代码省略了多任务竞争、并发更新和重试。

为什么控制器要重复对账

控制器读取期望和实际状态,然后做一次使两者更接近的操作。若控制器在创建执行对象后立即退出,下次醒来应该先查询并复用已经创建的对象。用可重复的标识、明确的归属关系和状态核对,能降低重复执行的风险。API 里的状态只是观察到的结果,更新可能滞后,排查时还需要看事件时间、运行尝试编号和节点观察值。

假设 J 的期望是「存在一个属于 J 的执行对象」。第一次检查发现没有,就创建。第二次检查时,如果对象已经存在,即使上次进程在写状态前退出,也可以观察现有对象再更新状态。这个反复观察、修正差异的过程叫协调(reconcile)。发生故障时,可靠性来自能用稳定身份检查已经做过什么,而非假设每次处理都顺利执行到结尾。

把这个例子放到 Kubernetes 中。它管理多台机器上的容器,把一起安排到同一节点运行的一个或多个容器称为一个 Pod。节点的设备插件把可分配的 GPU 等设备资源报告给集群。Kueue 可以为一次训练这类「提交后跑到结束」的任务排队并办理准入,Kubernetes 的调度器再为要运行的 Pod 选节点。

当 J 被放到 N1,机器上的节点管理程序 kubelet 看到这条分配记录,就请容器运行时准备镜像和容器。数据目录、设备也准备好后,才由宿主内核运行进程。K3s 是一种打包好的 Kubernetes,仍可用同样的流程理解。

在下面的 MatrixInfra 案例里,用户通过提交接口或命令行工具(CLI)交任务配置,用 Recipe 写下运行环境与启动命令。平台可以借助 Kubernetes 的自定义资源定义(CRD)声明一种新的记录类型,控制器再根据记录准备相应的执行对象。这样一份配置能从「用户想运行什么」走到「节点上实际启动什么」。

配额、拓扑与使用率

两台机器各剩一张卡,项目还有两张卡配额。一个要求同机双卡的任务可以通过简单配额检查,却找不到合适的机器。若项目只剩一张卡配额,则应先查队列与配额。这里还可以约定多个团队怎样分额度(公平共享)、哪些任务先排(优先级),以及紧急任务能否让现有任务提前让出资源(抢占)。

任务占用两张卡 30 分钟,记录 1 GPU·小时的分配量。卡上的计算有没有一直进行、GPU 自带的内存(显存)用了多少、每秒能处理多少项(吞吐量),都要另外观察。计费或内部成本分摊时,明确用的是分配时间、实际执行时间还是其他指标。

排队策略也有代价。若两卡任务在队首,后面的一卡任务刚好能填掉剩余空位,先让小任务运行可提高当前利用率。但如果小任务一直先占一张卡,大任务可能一直凑不齐。为大任务预留位置能限制等待,短期可能闲置资源。抢占也能腾出位置,被中断的任务可能要从上一次保存的恢复点(checkpoint)重做。可用任务调度模拟把到达顺序改一改,再观察三者的区别。

自测

两个任务都需要两张同机 GPU。一个显示等待准入,另一个已获准但没有节点。你应分别检查哪些信息?

参考思路

前者看队列、项目配额、优先级及准入检查。后者看调度事件、节点可用资源、注明机器能力的标签和设备位置约束。已放置后仍打不开进程,则看镜像、挂载、设备和运行时事件。

参考 Kubernetes 控制器、Kueue 准入、Kubernetes 调度器、节点管理程序 kubelet与 GPU 设备插件。

做完任务 J 的实验,可以看一套把分布式计算框架 Ray 部署到 Kubernetes 的工具(KubeRay)怎样与 Kueue 配合。暂停试着标出哪一步决定任务能否获准、哪一步决定 Pod 放在哪台机器,再对照演讲中的队列和公平共享。B 站演讲 · Kueue 项目视频目录