理应资讯
软件研发智能化

NVIDIA Mission Control 2.5:自治恢复引擎覆盖 Run:ai 管理的 Kubernetes 训练

理应编辑室 ·

NVIDIA 技术博客介绍 Mission Control 2.5:把原用于 Slurm 的自治恢复扩展到 Run:ai 管理的 Kubernetes 工作负载,作业恢复与硬件隔离并行,并新增网络异常检测(测试)。

NVIDIA 技术博客介绍 Mission Control 2.5 的关键变化:把自治恢复引擎从原先面向 Slurm 的 HPC 作业,扩展到由 NVIDIA Run:ai 调度的 Kubernetes 训练与推理工作负载。目标是在数千 GPU 的 AI 工厂里,把故障检测、分类与恢复做成控制环,而不是靠人工值守和静态检查点硬扛。

架构上拆成三层:Kubernetes 调度层(Run:ai)负责放置与队列;自治作业恢复服务根据作业上下文与失败历史决定重启、重试或重排队;自治硬件恢复服务隔离异常节点/GPU、做诊断,并在确认前避免再次被调度。硬件故障时,作业侧与硬件侧可并行:作业先迁到健康容量,可疑节点继续隔离审计。瞬时软件错误则尽量只重试作业,避免误伤健康机器。硬件退化信号也可提前把节点移出调度池。同版本还提到 AI 网络异常检测(测试)、统一认证与安全加固,以及对 Vera Rubin NVL72 的早期支持。

对平台与 MLOps 团队,2.5 的意义是在同一套运维模型下覆盖 Slurm 与 Kubernetes 双栈,减少「训练中断等人工」的空转。升级路径与发行说明见 NVIDIA 文档中心;公开博文未给出各云厂商托管版的具体 SLA,落地请结合现网监控与变更窗口验证。

NVIDIA 博文配图:云到 Kubernetes 与服务器的管理示意

# NVIDIA# Mission Control# Kubernetes# Run:ai# AI 工厂