PyTorch 携手 AMD 内置 FlyDSL 高性能内核，大幅提速 MI350 系列大模型计算任务

PyTorch 官方与 AMD 完成深度技术合作，把 FlyDSL 高性能计算内核原生集成进 PyTorch 主干版本，专门面向 MI350 系列 GPU 做深度适配，开发者不用额外修改业务代码、不用单独编译第三方内核，调用原生 PyTorch 算子就能自动启用 FlyDSL 加速能力，大模型训练与推理的矩阵运算、注意力计算、归一化等核心环节都能获得显著性能提升，让 MI350 系列硬件算力充分释放，大幅降低大模型千卡集群的算力成本与任务耗时。在本次合作落地之前，PyTorch 在 AMD MI350 硬件上只能依靠 ATen、Triton 通用内核完成计算，通用内核很难充分挖掘 gfx950 架构的硬件潜力，尤其是 MXFP4、MXFP8 低精度量化矩阵运算、多头注意力、分组 GEMM 这些大模型高频算子，执行效率始终达不到硬件理论上限；同时自研定制内核还需要开发者掌握底层硬件调度、内存排布、指令调度等技术，开发门槛很高，很难大规模落地。而 FlyDSL 是 ROCm 生态下面向 AI 场景的专用领域语言，能够直接控制 GPU 片上缓存、异步数据拷贝、MFMA 矩阵指令，针对 MI350 架构做算子精细化调优，并且本次已经把优化后的内核直接合并进 PyTorch 主代码库，实现开箱即用，普通开发人员可以零成本开启加速，彻底解决通用内核算力浪费、自定义内核开发成本高两大痛点。下面从 FlyDSL 支持算子清单、性能实测数据、软硬件适配条件、开启加速的操作步骤、大模型场景落地优化方案五个板块展开完整技术拆解。

一、PyTorch 内置 FlyDSL 支持的算子清单

表格

二、FlyDSL 内核在 MI350 系列 GPU 上的实测加速效果

全部测试环境均采用 AMD MI355X（gfx950 架构）、ROCm 7.14、PyTorch 2.8.0 正式版本，对比基准为 ATen 与 Triton 最优内核组合。

1. BF16 稠密 GEMM：几何平均提速达到 1.10 倍，多组模型维度下运行耗时稳定缩短；
2. MXFP8 量化矩阵运算：相比原有内核提速 1.58 倍；
3. MXFP4 量化矩阵运算：最高提速达到 1.68 倍，是低精度推理场景收益最大的算子；
4. RMSNorm、TopK 算子：即时执行模式下自动调度 FlyDSL 内核，运行速度提升 1.2 倍以上；
5. 端到端大模型任务：vLLM、SGLang 推理服务整体吞吐最高提升 3 倍，长文本解码延迟大幅下降。

三、软硬件环境适配条件

硬件条件

仅支持 AMD Instinct MI350 全系列产品，包含 MI350、MI355X，硬件架构为 gfx950，其他型号 AMD GPU 暂不支持该套 FlyDSL 内核。

软件条件

1. PyTorch 版本：2.8.0 及以上主干正式版，内核已上游合并，无需打补丁；
2. ROCm 版本：7.14 及更高版本，配套硬件驱动与编译工具链；
3. 依赖组件：AOTriton 0.14b 及以上版本，用于承载融合注意力 FlyDSL 内核；
4. 运行环境：Ubuntu 22.04，支持 Docker 容器一键部署。

四、在 PyTorch 中开启 FlyDSL 内核加速的完整操作步骤

1. 完成环境部署：安装对应版本 PyTorch、ROCm 驱动与 AOTriton，确认硬件识别为 gfx950 架构 MI350 系列 GPU；
2. 开启编译加速开关：在代码中启用 torch.compile，系统会自动优先调度 FlyDSL 矩阵计算内核；
3. 即时算子自动生效：RMSNorm、TopK 算子不需要额外配置，Eager 模式下检测到 MI350 硬件后自动切换至 FlyDSL 优化内核；
4. 开启注意力优化：将 SDPA 注意力算子后端切换为 AOTriton，自动加载 FlyDSL 融合多头注意力内核；
5. 算子降级兜底：如果遇到不支持的输入尺寸，PyTorch 会自动回退到原有 ATen 通用内核，不会出现程序报错；
6. 性能核验：使用 PyTorch benchmark 工具，对比开启前后算子耗时，确认加速策略正常生效。

五、MI350 大模型场景落地优化方案

1. MoE 混合专家模型：启用 FlyDSL 分组 GEMM 内核，大幅提升多专家分支并行矩阵运算效率，适配千卡 MoE 大模型分布式训练；
2. 低精度量化推理：优先使用 MXFP4、MXFP8 量化 GEMM，充分发挥 FlyDSL 在低精度指令调度上的优势，降低显存占用、提升吞吐；
3. 长文本解码场景：开启融合注意力 + 异步内存拷贝优化，减少 GPU 等待延迟，大幅提升流式对话服务并发量；
4. 分布式集群场景：配合 PyTorch FSDP 全分片数据并行，计算层依靠 FlyDSL 提速，通信层使用 ROCm 集合通信库，实现计算与通信双优化。

六、整体落地价值总结

PyTorch 与 AMD 联合原生集成 FlyDSL 高性能内核，把 MI350 系列 GPU 的硬件算力充分释放，不用改动业务代码就能获得算子级性能提升，既降低了大模型团队在 AMD 硬件上的优化门槛，又把训练、推理的整体算力效率拉满。对于大规模 AI 集群来说，同等算力投入下，模型训练迭代速度更快，线上推理服务并发能力更强，有效缩减整体算力开支；同时整套优化方案已经完全上游并入 PyTorch 主线，生态兼容性极强，可以无缝对接 TorchTitan、vLLM、SGLang 等主流大模型开发工具，进一步完善 AMD MI 系列 GPU 在大模型领域的软件生态。

【相关 FAQ】

问题 1：PyTorch 与 AMD 集成 FlyDSL 高性能内核后，能对 MI350 系列大模型计算带来哪些提升？

回答 1：PyTorch 内置 FlyDSL 内核后，MI350 系列 GPU 上的稠密 GEMM、MXFP4/MXFP8 量化矩阵运算、分组 GEMM、融合多头注意力、RMSNorm 等大模型核心算子都会获得显著提速，MXFP4 矩阵运算最高提速 1.68 倍，整体端到端推理吞吐最高提升 3 倍；而且内核原生集成在 PyTorch 主线，开发者零代码改造就能启用加速，充分释放 MI350 硬件算力，优化大模型训练与推理的整体效率。

问题 2：在 PyTorch 里启用 FlyDSL 内核加速 MI350 大模型计算，是否需要大规模修改现有代码？

回答 2：不需要修改业务代码。矩阵类算子只要开启 torch.compile 编译模式就会自动调用 FlyDSL 内核；RMSNorm、TopK 这类算子在 Eager 即时模式下自动调度优化内核；注意力算子仅需切换 AOTriton 后端即可；遇到不支持的算子尺寸还会自动回退到原生 ATen 实现，保证程序稳定运行，迁移成本极低。

问题 3：FlyDSL 高性能内核只支持 PyTorch 下的 MI350 系列 GPU 吗？

回答 3：当前 PyTorch 内置的 FlyDSL 优化内核仅面向 AMD MI350 系列（gfx950 架构）硬件，包含 MI350、MI355X 机型；其他型号 AMD GPU 暂时没有适配该套内核，无法自动启用这项加速能力，后续版本会持续拓展硬件支持范围。

问题 4：FlyDSL 内核可以优化 MI350 硬件上 MoE 大模型的训练任务吗？

回答 4：完全可以。FlyDSL 提供了分组 GEMM 优化内核，专门针对 MoE 模型多专家分支并行计算场景，配合 PyTorch TorchTitan 框架，能够大幅提升多分支矩阵运算速度，同时支持 MXFP4、MXFP8 低精度量化计算，满足千卡级 MoE 大模型分布式训练的性能需求。

【数据来源】

[2026-10-21]（Accelerating PyTorch on AMD GPUs with FlyDSL）PyTorch 官方技术博客

[2026-10-22]（AMD GPUs Get Faster AI with New PyTorch Backend）The Neural Feed 科技媒体

[2026-10-21]（PyTorch FlyDSL 算子与性能基准测试文档）PyTorch GitHub 开源文档

[2026-09-15]（FP8 Training on AMD GPUs with TorchTitan and TorchAO）PyTorch 中文技术社区

[2026-08-27]（ROCm 10 版本 PyTorch 软硬件适配说明）AMD 官方新闻稿

免责声明：本文中 FlyDSL 内核的算子支持范围、实测提速倍率、软硬件适配条件均来自 PyTorch 与 AMD 官方公开技术文档；实际运行性能会受 GPU 型号、模型尺寸、精度配置、ROCm 与 PyTorch 版本、集群网络环境影响；本文仅为技术落地方案解读，不构成硬件采购与模型优化的唯一标准；FlyDSL 内核最新功能与性能数据，请以 PyTorch 主线版本与 ROCm 官方文档实时内容为准。