理应资讯
软件研发智能化

NVIDIA CUDA 13.4 在 Kubernetes 上强化显存隔离的 GPU 共享

理应编辑室 ·

NVIDIA 技术博客介绍 CUDA 13.4 在 Kubernetes 上的显存强制 GPU 共享:许多 AI 负载只需部分 GPU,共享可在保证显存边界的前提下提高集群利用率。

一台 GPU 跑不满时,共享不再只靠“友好协商”。

NVIDIA 开发者博客称,许多 AI 负载只需 GPU 的一部分算力/显存;整卡独占会浪费容量。CUDA 13.4 结合 Kubernetes,介绍 Memory-Enforced GPU Sharing:在平台侧以显存边界约束多负载共用加速卡,从而在同一设备上服务更多工作负载。对推理平台与批处理混部团队,这直接影响利用率与成本账。

软件研发与 MLOps 落地时,要验证隔离是否足以防止抢占导致的 OOM、以及与 MIG/时间分片等方案的选型差异。监控侧需同时看 SM 利用率、显存水位与调度延迟。

本稿依据 NVIDIA 技术博客整理;具体开关名、发行版支持矩阵以官方文档为准。

GPU 共享策略直接影响推理平台单位成本。显存强制隔离适合多租户推理与批任务混部;对训练任务仍可能更倾向整卡或 MIG。平台需提供清晰的请求规格(显存上限、共享档位),让业务方按需申报而不是默占整卡。

升级 CUDA/驱动与 Kubernetes 设备插件时要做金丝雀,隔离失效比浪费更可怕。观测上同时采集抢占事件与用户可见错误率。

# NVIDIA# CUDA 13.4# Kubernetes# GPU共享# MLOps