NVIDIA宣布TensorRT-LLM 即将登陆 Windows，将为运行 RTX GPU 的 PC 带来巨大的 AI 提升。

NVIDIA RTX GPU 驱动的 PC 将在 Windows 中通过即将推出的 TensorRT-LLM 支持获得免费的 AI 性能提升

早在 9 月份，NVIDIA就发布了适用于数据中心的 TensoRT-LLM 模型，该模型比 Hopper H100 和 Ampere A100 等业界顶级 AI GPU 性能提升了 8 倍。充分利用 NVIDIA GeForce RTX 和 RTX Pro GPU 上的张量核心加速功能，最新型号将在 LLM 推理工作负载中提供高达 4 倍的性能提升。

NVIDIA TensorRT-LLM 即将登陆 Windows，为运行 GeForce RTX 和 RTX Pro GPU 的消费类 PC 带来巨大的 AI 提升 2

之前，我们解释过 TensorRT-LLM 带来的最大更新之一是一种称为“飞行批处理”的新调度程序，它允许工作独立于其他任务进入和退出 GPU。它允许动态处理多个较小的查询，同时在同一 GPU 中处理大型计算密集型请求。TensorRT-LLM 利用优化的开源模型，可以在增加批量大小时实现更高的加速。