首页 >> 综合 > 快讯 >

NVIDIA 发布 AI Cluster Runtime,融合 Dynamo 组件并配套全套基础设施

2026-11-03 13:09:53 来源:网易 编辑:赖月媛 

NVIDIA 正式推出 AI Cluster Runtime,这套运行时系统整合了 Dynamo 以及一整套配套基础设施,面向大规模 AI 集群场景,用来简化大模型训练、推理任务在 GPU 集群上的调度、资源管理和执行流程,让开发者和集群运维团队能够更高效地在多 GPU 节点环境里部署 AI 负载;AI Cluster Runtime 承接上层 AI 框架下发的任务,依靠 Dynamo 负责计算图的捕获、优化、编译,再结合配套基础设施完成集群通信、资源分配、容错管理、任务编排,打通从模型代码到集群硬件执行的整条链路。以往在多节点 GPU 集群跑大模型,开发者需要分别处理图优化、分布式通信、节点调度、故障恢复等多个独立模块,配置和调优环节工作量很大。NVIDIA AI Cluster Runtime 把这些能力收拢到统一运行时环境,Dynamo 负责 Python 模型代码的即时优化,配套基础设施负责集群层面的分布式协同,两者配合降低分布式 AI 集群的使用门槛,提升 GPU 硬件利用率。想要上手使用 NVIDIA AI Cluster Runtime,可以先熟悉 Dynamo 的图捕获与编译能力,再了解配套基础设施提供的集群调度、通信原语、监控组件,按照模型适配、集群配置、任务提交、性能调优的流程落地。

一、NVIDIA AI Cluster Runtime 核心组件分工表

表格

组件模块核心职责典型作用
Dynamo计算图捕获、JIT 编译、算子优化把动态 Python 模型代码转为优化计算图,减少解释开销
集群调度基础设施节点、GPU 资源分配、任务排队统一管理集群算力,合理分配 AI 训练 / 推理任务
分布式通信基础设施集合通信、跨节点数据同步支撑数据并行、张量并行、流水线并行等分布式策略
监控与容错基础设施状态采集、故障检测、任务重试保障长周期大模型训练任务稳定运行

二、NVIDIA AI Cluster Runtime 关键能力亮点

  1. 深度联动 Dynamo:复用 Dynamo 对 PyTorch 模型的图捕获与编译能力,在集群环境下持续优化单卡与多卡计算效率。
  2. 一体化集群运行环境:将图优化层、分布式通信层、资源调度层整合,减少多组件对接开发成本。
  3. 适配大规模集群:支持跨节点大量 GPU 组网,适配超大参数量大模型训练、批量推理业务。
  4. 原生兼容 PyTorch 生态:开发者可以沿用熟悉的 PyTorch 开发范式,不需要大规模改写模型代码。
  5. 内置运维配套工具:自带指标监控、日志链路、故障恢复机制,方便集群运维人员管理负载。

三、NVIDIA AI Cluster Runtime 典型使用流程清单

  1. 模型准备:基于 PyTorch 编写 AI 模型代码,代码可被 Dynamo 捕获生成计算图。
  2. 集群配置:在 AI Cluster Runtime 中配置集群节点信息、GPU 拓扑、通信参数。
  3. 任务提交:提交训练或者推理任务,运行时自动完成资源分配与任务分片。
  4. 自动优化:Dynamo 完成图编译优化,基础设施完成跨节点通信协同。
  5. 监控调优:依托配套监控工具查看算力利用率,持续调优并行策略。

【相关 FAQ 】

问题 1:NVIDIA AI Cluster Runtime 里的 Dynamo 起到什么作用?

回答 1:NVIDIA AI Cluster Runtime 里的 Dynamo 负责模型计算图捕获、即时编译和算子优化,对 PyTorch 模型做性能优化,是整套运行时的核心计算优化组件。

问题 2:NVIDIA AI Cluster Runtime 主要面向什么场景?

回答 2:NVIDIA AI Cluster Runtime 面向大规模 GPU AI 集群场景,用于大模型分布式训练、分布式推理,整合 Dynamo 和配套基础设施简化集群任务部署。

问题 3:使用 NVIDIA AI Cluster Runtime,是不是必须修改原有 PyTorch 模型?

回答 3:不需要大幅改写模型代码,NVIDIA AI Cluster Runtime 原生兼容 PyTorch,Dynamo 可以自动捕获模型计算图,降低适配成本。

问题 4:NVIDIA AI Cluster Runtime 配套基础设施包含哪些能力?

回答 4:NVIDIA AI Cluster Runtime 配套基础设施包含集群资源调度、分布式集合通信、状态监控、故障重试等能力,支撑 Dynamo 优化后的计算任务在多节点集群稳定执行。

【数据来源】

[2026-11-03] NVIDIA 发布 AI Cluster Runtime,整合 Dynamo 与配套基础设施 NVIDIA 官方新闻

[2026-11-03] NVIDIA AI Cluster Runtime 技术详解 机器之心

[2026-11-02] PyTorch Dynamo 技术原理与集群适配介绍 英伟达开发者社区

[2026-10-30] 大规模 GPU 集群运行时方案行业解读 36 氪

免责声明:本文为 NVIDIA AI Cluster Runtime 技术资讯整理,功能特性、支持范围会随版本迭代持续更新;技术落地效果受集群硬件规格、模型结构影响,所有功能细节以 NVIDIA 官方文档为准,本文内容仅作技术科普参考,不构成采购或者技术选型建议。

 
最新文章
站长推荐