英特尔发布了 2023 年 11 月对其 MLPerf Training 3.1 结果的更新，与6 月份预测的 90%相比，性能提升了 103% 。目前只有三个加速器在 MLPerf 上提交 GPT-3 结果：Intel、NVIDIA 和 Google - 这使得 Intel 的 Gaudi 2 目前成为 MLPerf AI 工作负载的 NVIDIA GPU 的唯一可行替代品(这还是正确的术语吗?) 。

英特尔在最新的 MLPerf 3.1 中展示了与 NVIDIA 领先的 Hopper 芯片相比具有竞争力的性价比

英特尔还很快指出，Xeon 是唯一在 MLPerf Benchmark 上提交训练结果的 CPU。废话不多说，下面是幻灯片：

正如您所看到的，英特尔 Gaudi 团队最初预计 FP8 的性能将提高 90%，但在 GPT-3 行业基准测试中却实现了 103% 的提升，将训练时间从 311.94 分钟缩短到几分钟(跨 384 个加速器)。 5.2 小时缩短至 2 小时多一点或 153.58 分钟。英特尔还展示了几张幻灯片，以帮助基于 TCO(总拥有成本)的决策，展示 Gaudi 2 芯片提供与 NVIDIA H100 类似的性能，同时具有较低的服务器成本 - 使其在性价比方面具有竞争力。

在 GPTJ-99 上，Gaudi 2 的表现更加出色，仅略落后于 NVIDIA 的新型 Hopper 芯片。虽然 6 月份的讨论是关于 Gaudi 2 只是 NVIDIA 芯片的可行替代品，并且明显落后于 H100(仅与较旧的 A100 型号相抵触)，但现在 Gaudi 2 芯片仅略微落后于 H100 和 GH200-96G 设置。在服务器吞吐量基准测试中，H100 仅比 Gaudi 2 快 9%，而 GH200-96G 仅比 Gaudi 2 快 12%。在离线基准测试中，这一领先优势扩大到 28%。在这两种情况下，Gaudi 2 的性能均优于 A100 近 2 倍。