首页 >> 综合 > 快讯 >

CUDA 13.5 上线,Vera Rubin 获得生产级支持减少 GPU 资源浪费

2026-11-05 14:11:16 来源:网易 编辑:邱雯哲 

NVIDIA 在 11 月 4 日正式放出 CUDA Toolkit 13.5,这次最重要的变化就是给 Vera Rubin 架构带来正式可用的生产级支持,不再只是开发者预览版本,企业现在可以直接把这套硬件搭配这个 CUDA 版本跑线上训练和推理业务,依靠新的调度、分区能力,解决多租户场景里常见的 GPU 算力闲置、资源抢占浪费的问题。之前 CUDA 13.4 只能用来做前期开发测试,稳定性、调度能力都达不到上线标准,很多算力集群不敢大规模部署 Vera Rubin;而 CUDA 13.5 更新了整套底层调度、矩阵内核、多卡通信能力,让这块硬件的算力更容易被充分吃满,不会出现一部分任务占卡、其余算力空转的情况。

核心优化点

  • MPS v3 加权时间切片调度
  • 两种 SM 分区策略
  • 统一分区:每个局部域分配固定数量流式多处理器,运行结果更稳定,适合对时延抖动要求严格的线上推理;
  • 扩容分区:把额外空闲的流式多处理器并入分区,榨干全部算力,适合大模型训练。
  • 分区动态借调回收
  • 低精度矩阵内核优化
  • 内核级多 GPU 通信
  • 驱动模式变更
  • 新增常开式性能监控工具(预览)

新版多实例服务加入加权时间片,可以给负载很重的任务分配更长的基础计算时间,任务切换频率也能单独调。多业务共享同一张 GPU 的时候,资源争抢变少,空闲算力可以动态调配出去。

空闲的计算分区可以临时借给别的任务使用,就算资源临时流转,每个业务保底的算力配额不会被改动,兼顾资源利用率和业务稳定性。

针对 Vera Rubin 的低精度矩阵运算重写底层内核,开发者不用反复针对不同计算形状手动调参,就能拿到更高的吞吐。

在计算内核内部就支持跨卡高速通信,借助 NVLink、NVSwitch,直接访问别的显卡显存,通信和计算并行执行,降低多卡训练开销。

Vera Rubin 在这个版本不再支持传统 TCC 模式,Windows 环境只支持 WDDM、MCDM 两种驱动模型,部署 Windows 业务的时候要留意。

适合长时间跑训练任务,可以持续监控状态,方便定位偶发、很难复现的线上故障。

部署操作步骤

  1. 准备配套驱动:部署 CUDA 13.5 + Vera Rubin,Linux 环境推荐同步安装配套的 620.70.06 驱动;
  2. 卸载旧版预览环境:如果之前用 CUDA 13.4 跑 Vera Rubin 预览,先卸载旧工具链和预览驱动;
  3. 根据业务选分区策略:推理业务优先选择统一 SM 分区;大规模训练选择支持资源借调的扩容分区;
  4. 改造调度配置:开启 MPS v3,按业务权重设置加权时间切片;
  5. 重新编译业务内核:使用 CUDA 13.5 工具链重新编译面向 sm_107 的程序,启用新版矩阵内核;
  6. 上线压测:利用新增监控工具持续采集算力占用,验证资源借调是否正常、保底配额会不会被打破;
  7. 正式投产:压测稳定后,把 Vera Rubin 节点接入生产集群承接正式业务。

整体来看,CUDA 13.5 补齐了 Vera Rubin 走向规模化生产的软件短板,通过更灵活的算力共享机制,降低 GPU 闲置浪费,让面向智能体大模型的算力集群更容易做到高效部署。

【相关 FAQ】

问题 1:CUDA 13.5 给 Vera Rubin 的生产级支持和之前预览版最大差别是什么?

回答 1:CUDA 13.5 里 Vera Rubin 属于正式 GA 版本,可以用于生产业务;之前 CUDA 13.4 的 Vera Rubin 只是开发者预览,不建议跑正式负载,缺少成熟的动态资源借调、加权时间切片调度,稳定性和资源利用率都达不到生产标准。

问题 2:开启 CUDA 13.5 的分区借调,会不会抢占 Vera Rubin 上业务的保底算力?

回答 2:不会,CUDA 13.5 的这套分区借调机制设计上会锁定应用的基础配额,只是把闲置富余算力临时借出回收,保障业务底线,同时减少 Vera Rubin 平台上的 GPU 资源浪费。

问题 3:在 Windows 上用 CUDA 13.5 部署 Vera Rubin,还能用 TCC 模式吗?

回答 3:不能,Vera Rubin 架构从 CUDA 13.5 开始不再支持 TCC 模式,Windows 部署只能选用 WDDM 或者 MCDM 驱动模型。

问题 4:升级到 CUDA 13.5 之后,老代码要不要重新编译才能在 Vera Rubin 上跑满性能?

回答 4:如果想要用上新版优化矩阵内核、内核级多 GPU 通信,需要用 CUDA 13.5 工具链重新编译,目标架构指定为 sm_107;不重新编译也可以运行,但是拿不到这次专门针对 Vera Rubin 的性能提升和资源调度能力。

【参考资料】

[2026-11-05](告别 GPU 资源浪费!CUDA 13.5 为 Vera Rubin 提供生产级支持:计算分区可灵活借调)快科技

[2026-11-04](NVIDIA CUDA 13.5 Brings NVIDIA Vera Rubin GA Support)NVIDIA Technical Blog

[2026-11-02](Making Kubernetes AI-Ready for NVIDIA Vera Rubin on Day One)NVIDIA Technical Blog

【免责声明】

本文内容仅为公开资讯整理,不构成任何部署、采购建议;CUDA、Vera Rubin 的功能、兼容性以 NVIDIA 官方正式文档为准;不同集群硬件、驱动搭配下实际效果存在差异,正式上线前务必完成充分测试。

 
最新文章
站长推荐