NVIDIA发布了在全球最快的 AI GPU(例如Hopper H100、GH200和L4)上运行的官方 MLPerf Inference v3.1 性能基准测试。

NVIDIA 凭借 Hopper 和 Ada Lovelace GPU 主导 AI 领域，MLPerf v3.1 展现强劲性能

今天，NVIDIA 发布了 MLPerf Inference v3.1 基准测试套件中的首个性能基准测试，该套件涵盖了人工智能用例的各种行业标准基准测试。这些工作负载包括推荐器、自然语言处理、大型语言模型、语音识别、图像分类、医学成像和对象检测。

两组新的基准测试包括 DLRM-DCNv2 和 GPT-J 6B。第一个是真实推荐器的更大的多热数据集表示，它使用新的跨层算法来提供更好的推荐，并且参数数量是之前版本的两倍。另一方面，GPT-J 是一种小型 LLM，其基础模型是开源的，于 2021 年发布。此工作负载专为摘要任务而设计。

NVIDIA 还展示了应用程序的概念性现实工作负载管道，该应用程序利用一系列 AI 模型来实现所需的查询或任务。所有型号都将在 NGC 平台上提供。

在性能基准方面，NVIDIA H100 在整个 MLPerf v3.1 推理集(离线)上与来自英特尔 (HabanaLabs)、高通 (Cloud AI 100) 和谷歌 (TPUv5e) 的竞争对手进行了测试。NVIDIA 在所有工作负载中提供了领先的性能。