PyTorchCon 会议议程发布，聚焦 NPU 平台下 LLM 训练与推理技术实践

本次 PyTorchCon 已经正式放出完整议程，会议专门开辟硬件加速专题板块，把 NPU 上大语言模型 LLM 训练、推理全链路优化作为核心研讨方向，同步推出配套实操工作坊，能够给开发者提供从框架适配、算子开发、编译优化到分布式部署的全套落地方案，大幅降低把 PyTorch 大模型迁移到 NPU 硬件的开发门槛，让国产 NPU 芯片可以平稳承接千亿级 LLM 的训练与线上推理业务PyTorch。

一、把 NPU+LLM 设为核心议题的核心原因

1. 硬件多元化已经成为行业大趋势，除了传统 GPU 之外，各类 NPU 专用 AI 芯片大规模落地，大量企业都在把 LLM 业务从 GPU 迁移到 NPU 硬件，但是当前 PyTorch 原生对 NPU 的适配还不够完善，算子兼容、编译链路、分布式通信都存在大量待解决问题，行业急需统一的技术方案。
2. 大模型业务分为训练与推理两大场景，训练看重显存利用率与多卡互联效率，推理重点控制延迟与吞吐，NPU 硬件架构和 GPU 存在明显差异，直接照搬 GPU 优化手段达不到理想性能，必须针对 NPU 的硬件特性做定制化改造。
3. 本次 PyTorch 社区联合多家 NPU 芯片厂商共同完成了框架适配开发，需要借助本次会议把标准化适配方案、调优经验向全行业开放，打造统一的 PyTorch-NPU 开发生态，减少各个厂商重复开发的成本PyTorch。

二、NPU 上 LLM 训练与推理的会议核心议程安排

（一）主题技术分享（分会场专题演讲）

1. PyTorch NPU 后端原生适配方案

• 内容：讲解 PyTorch 设备抽象层改造，实现 ATen 算子在 NPU 硬件上原生运行，无需大幅修改模型代码；介绍 TorchInductor 编译器针对 NPU 架构做的算子融合、内存复用优化，打通从模型代码到 NPU 机器码的完整编译链路。
• 适配范围：支持 LLM 预训练、微调场景下的基础算子，包含矩阵乘法、FlashAttention、激活函数、量化算子。

1. NPU 分布式 LLM 训练优化实践

• 内容：拆解张量并行、流水线并行、数据并行三种大模型分布式策略在 NPU 多卡集群里的落地方法；优化 NPU 之间的通信链路，降低多卡数据传输开销；配套显存优化手段，包含激活重计算、权重分片、低精度混合训练，把 NPU 显存承载能力拉满，支撑 70B 以上大模型训练任务。

1. LLM 推理在 NPU 上的高性能部署方案

• 内容：基于 vLLM、SGLang 推理引擎做 NPU 硬件移植；优化 KV 缓存管理、分页内存机制；实现动态批处理、 speculative decoding speculative 推理；给出量化压缩（INT4/INT8）在 NPU 上的精度与吞吐平衡方案，满足线上高并发推理需求PyTorch。

（二）实操工作坊（动手实操环节）

1. 环境搭建：一键部署 PyTorch NPU 运行环境，完成设备识别、算子正确性验证。
2. 模型迁移：把开源 LLM 模型一键迁移到 NPU 运行，完成单卡微调测试。
3. 性能调优：使用 PyTorch Profiler 工具定位 NPU 模型瓶颈，优化算子与内存调度，把推理吞吐提升 30% 以上。
4. 集群部署：完成多 NPU 卡分布式训练任务的部署与调试。

（三）技术圆桌研讨

组织 PyTorch 框架维护人员、NPU 芯片厂商工程师、大模型开发团队一起交流，统一梳理当前 PyTorch 对接 NPU 的技术痛点，确定后续版本开发排期，完善算子库、编译工具、分布式组件的配套能力。

三、落地执行的完整技术步骤

1. 前置准备：获取对应 NPU 硬件的 PyTorch 后端安装包，安装配套编译器、驱动与通信库，完成环境校验，确保 PyTorch 可以正常识别 NPU 设备。
2. 模型代码迁移：保持原有 LLM 训练脚本基本不变，仅修改设备调用代码，把 cuda 设备替换为 npu 设备；开启 TorchInductor 编译开关，自动做算子融合优化。
3. 训练场景优化：开启混合精度训练、激活检查点机制；配置 NPU 多卡通信组件，启用大模型并行策略，拆分模型权重到多张 NPU 卡，解决单卡显存不足问题。
4. 推理场景优化：加载量化后的模型权重；开启 NPU 硬件加速的 KV 缓存与动态批调度；开启推理引擎的算子优化，减少 token 生成延迟。
5. 性能验证与调优：使用性能测试工具采集单卡吞吐、多卡扩展性、显存占用数据；针对耗时算子开发 NPU 自定义算子，进一步缩小性能差距。

四、本次会议议程落地带来的最终效果

开发者通过本次会议学习完整技术方案之后，可以实现 PyTorch 编写的 LLM 模型低成本迁移到 NPU 硬件运行；单卡 NPU 的 LLM 训练速度可以达到同级别 GPU 性能的 85% 以上，线上推理吞吐可以提升 25%~40%；同时整套方案具备通用性，能够适配多款主流 NPU 芯片，不用再为不同硬件单独维护多套代码，极大简化大模型跨硬件部署流程，加速 NPU 在大模型产业里规模化落地PyTorch。

【相关 FAQ】

问题 1：PyTorchCon 本次议程里，NPU 上 LLM 训练的优化重点是什么？

回答 1：PyTorchCon 本次议程里 NPU 上 LLM 训练优化重点集中在三个方向，第一是 PyTorch 编译器针对 NPU 架构做算子融合与内存优化；第二是多 NPU 卡分布式并行通信优化，降低跨卡数据延迟；第三是显存优化，依靠激活重计算、权重分片、低精度训练，让 NPU 可以承载超大参数 LLM 模型，会议会提供完整可直接复用的分布式训练配置模板。

问题 2：PyTorchCon 议程中，NPU 部署 LLM 推理会用到哪些主流开源工具？

回答 2：PyTorchCon 议程中 NPU 部署 LLM 推理会用到 vLLM、SGLang 两大主流推理引擎，同时配套 PyTorch 自带的量化工具 TorchAO，还会用到 ExecuTorch 部署 runtime，完成模型编译、KV 缓存优化、动态批处理配置，整套工具链全部完成 NPU 硬件适配，直接就可以完成高并发 LLM 线上推理业务部署。

问题 3：普通开发者能不能跟着 PyTorchCon 工作坊完成 LLM 向 NPU 的迁移？

回答 3：普通开发者可以跟着 PyTorchCon 配套实操工作坊完成 LLM 向 NPU 的迁移，工作坊提供预编译好的 PyTorch NPU 版本、开源 LLM 测试脚本、性能调优参数清单，全程只需要少量代码修改，不需要从零开发算子，零基础也能完成单卡模型迁移与基础性能调优。

【数据来源】

[2026-10-22]（PyTorchCon 议程预告：覆盖 NPU 上的 LLM 训练与推理等方向）PyTorch 中文社区

[2026-09-04]（硬件加速与算力基础设施：2026 北美 PyTorchCon 专题内容）PyTorch 官方博客

[2026-09-09]（2026 中国 PyTorchCon 异构硬件技术研讨内容）PyTorch 官方博客

[2026-08-27]（2026 北美 PyTorchCon 核心框架分会场内容）PyTorch 官方博客

免责声明：

本文仅基于 PyTorchCon 公开会议议程信息进行内容整理与技术解读，会议现场实际演讲内容、技术方案与工具版本，以会议现场发布资料以及 PyTorch 官方后续开源代码为准；文中给出的性能优化数据为会议预设技术目标，最终性能表现取决于 NPU 硬件型号、驱动版本、模型参数与业务场景；本文不构成任何软硬件采购、技术选型的决策依据。