NVIDIA 针对 RTX GPU 的 TensorRT 更新还大幅提升了 GenAI 工作负载的性能，例如稳定扩散。

Stable Diffusion 和 GenAI 通过 NVIDIA 游戏和 Pro RTX GPU 上的 TensorRT 支持获得提升

我们已经详细介绍了TensorRT-LLM如何在 RTX 硬件上为 Windows 带来更快的 AI 功能，而 GenAI 是拥有 RTX GPU 的消费者将能够看到直接好处的另一个领域。

NVIDIA TensorRT 为所有 RTX GPU 加速稳定扩散 GenAI，RTX 4090 比 Apple M2 Ultra 快 7 倍 1

众所周知，NVIDIA 的 GPU 是稳定扩散和生成 AI 工作负载最受欢迎的解决方案之一。我们已经看到 NVIDIA 在这一领域领先于几乎所有公司，但最近和即将推出的 CPU(来自 AMD 和 Intel)已开始包含专用 NPU 单元，可以从 CPU/GPU 卸载 AI 任务并完成对于绝大多数用户来说，这是一种非常低功耗和高效的模式。

NVIDIA TensorRT 为所有 RTX GPU 加速稳定扩散 GenAI，RTX 4090 比 Apple M2 Ultra 2 快 7 倍

NVIDIA 表示，很高兴看到通过将 AI 融入 CPU 来推动 AI 加速，它们将主要用于以低功耗运行的轻量级 AI 任务，而 GPU 将用于要求更高的用例。NPU 和 GPU 都是离线且本地可用的资源，提供低延迟和数据局部性/隐私功能，而云数据中心则针对超大型模型和按需使用的重型 AI 工作负载。据说 NVIDIA 的 RTX GPU 的性能比这些 NPU 高出 20 倍到 100 倍。