任务怎样从一台机器走到一组机器¶
从提交成功追到进程真正启动¶
用需要两张计算卡的任务 J先核对额度,再核对哪台机器放得下。随后模拟提交结果丢失或恢复点只写了一半。恢复点也叫 checkpoint,记录任务重启后接着运行所需的状态。最后做完整训练案例。
读完单机调度、容器运行和文件持久化后,可以把问题扩大到一组统一管理的服务器,这就是集群。想象两台服务器和三个任务。需要决定什么时候允许任务开始、在哪台机器运行,以及失败后怎样接着做。
- 提交、准入、放置与执行从任务状态、队列及节点约束出发。
- 重试、产物与恢复从客户端超时和半写入 checkpoint 出发。
- MatrixInfra 综合练习结合真实平台的公开接口,观察不同工作负载对上述机制的要求。