理应资讯
软件研发智能化

英伟达开源 Attribution:把分布式训练失败收成一条可复核诊断

理应编辑室 ·

英伟达于 11 月 2 日宣布开源 Attribution:用确定性规则把一次失败尝试的日志、指标与调度状态收成含根因、症状链与证据的结构化诊断,并提供 Service 与 Blueprint。

英伟达开发者博客在 11 月 2 日介绍,公司把内部沿用多年的工作负载级故障归因系统 Attribution 开源。面向多机多卡训练与推理,工具要把一次失败尝试相关的应用日志、主机与驱动信息、调度器状态和指标收进同一视野,输出结果、根因域、受影响节点、支撑症状与证据链,而不是只停留在最先抛出的异常位置。

公开材料把链路写成四步:先圈定一次工作负载尝试的时间窗与节点;再采集观察记录;接着用确定性规则抽取并关联 XID、NCCL、调度变迁等事件,把下游症状与真正触发失败的事件分开;最后返回结构化结论,并记录采集覆盖与错误。博客用合成样例说明:某一节点出现 XID 149 与 NVLink 信号完整性问题后,其他 rank 上的 NCCL 报错仍保留为证据,但归因指向该节点上的硬件类根因。规则以可提交的声明式与 Python 形式随 Service 发布,变更走版本发布,而不是运行时随意上传。

部署上拆成 Attribution Service 与 Attribution Blueprint。Service 通过 HTTP 暴露规则引擎;Blueprint 是 Python 参考编排器,负责发现任务、解析执行上下文、调用采集器、请求 Service 并落库,同时带只读仪表盘。仓库 README 写明项目仍处 pre-1.0,Service 提供版本化 HTTP API,Library 与 Blueprint 接口可能变更;许可为 Apache-2.0。Blueprint 自带 Slurm、Kueue 与静态输入等执行上下文连接器,以及 Loki、本地文件、Kubernetes Pod 日志与 PromQL 等日志指标连接器,输出可写到标准输出或 SQLite。团队可以一对一或一对多地搭配 Service 与 Blueprint,把同一套归因逻辑接到不同集群拓扑。

快速上手路径是克隆 dsx-ai-factory/attribution,用 Docker 起 Service 与仪表盘,再对仓库内静态样例跑 Blueprint。README 还列出运行前提:Service 主机 Python 版本区间较新,Blueprint 侧 3.11+,并依赖 uv;调度侧提到某版本之后的 Slurm 或带 JobSet 的 Kueue,KAI 调度值虽被 API 接受但归因尚未实现。支持的 GPU 架构名单含 A100、H100、L40S、B200、GB200、GB300,其中较新平台的规则覆盖仍在扩展。文中明确写出 Attribution 不做主动探测、不替代监控栈,也不在证据不足时强行给出单一结论;证据模糊时会标成 ambiguous 或 unattributed。

英伟达生产侧叙述称该系统每周分析数百万次工作负载、覆盖数十万级 GPU,并举出曾把 RDMA 端口错误与调度事件收敛到具体主机与交换机端口、支撑织物修复与拥塞调优的案例。这些规模与效果表述属厂商经验,公开稿只保留“能产出可复核诊断、可接自有调度与遥测”的产品边界,不把案例倍数写成普遍拦截率。团队若要试用,仍需自备调度器、日志指标后端与运维能力,并按 pre-1.0 接口变更预期做集成;先跑通官方静态样例,再改连接器对接自有集群,是更稳妥的路径。

README 还区分了两类典型输出读法:一类是 NCCL 报错与 XID 成对出现时,把责任节点和硬件域写进结论;另一类是症状链里保留重启、调度 NODE_FAIL 等上游事件,方便值班人员对照运维动作,而不是把规则命中当成唯一处置指令。作者反复强调,输出描述的是级联与命中规则,硬件替换或回池等决策仍由人来做。 同窗还有英伟达关于分布式训练自动恢复的博文,本轮以 Attribution 开源为主事件,避免把同厂运维主题拆成重复稿。

参考资料

  1. Diagnose Distributed AI Workload Failures with NVIDIA Attribution · NVIDIA Developer Blog
  2. dsx-ai-factory/attribution README · GitHub / NVIDIA