PyTorch 案例ExecuTorch 在 Pixel 11 设备把流式 ASR 最高提速至 2.12 倍

这份 PyTorch 实测案例给出明确结果，在 Google Pixel 11 手机上启用 ExecuTorch 搭配 SME2 指令集优化之后，流式 ASR 语音识别模型最高可以获得 2.12 倍推理加速，同时还能保持识别精度不变，单线程 CPU 就能轻松做到实时音频转录，给移动端离线语音应用提供了成熟的端侧优化方案；整套优化基于 XNNPACK 与 KleidiAI 后端完成，FP16 精度版本提升幅度达到峰值，量化版本同样获得稳定提速，全程不需要依赖云端算力，只靠手机本地 CPU 就完成完整的音频预处理、模型推理与文本解码全链路计算，大幅降低移动端流式语音识别的延迟与功耗。

一、本次测试硬件与基础环境配置

1. 硬件与系统参数

本次测试设备为 Google Pixel 11，锁定一颗中端 CPU 核心运行单线程推理，避免多核调度带来的性能波动；测试音频为 24.9 秒标准录音，分片长度固定为 1120ms，完全贴合流式 ASR 分片推理的线上部署场景。

2. 软件版本清单

表格

3. 核心性能实测数据

开启 SME2 优化前后的耗时与加速比数据如下：

1. FP16 精度：关闭 SME2 耗时 9.79 秒，开启后仅 4.61 秒，整体提速2.12 倍，为本轮测试最高加速效果。
2. INT8 量化（QC8W）：关闭 SME2 耗时 5.20 秒，开启后降至 3.24 秒，提速 1.61 倍，兼顾速度与内存占用。
3. 实时系数：FP16 版本实时系数 0.19，INT8 版本低至 0.13，处理时长远短于音频时长，留有充足算力余量。

二、ExecuTorch 实现 2.12 倍加速的核心原因

1. 启用 Arm SME2 向量指令集

Pixel 11 搭载的新一代 Arm CPU 支持 SME2 扩展指令，ExecuTorch 编译器可以把矩阵运算自动映射到 SME2 硬件指令，把原本多条标量运算合并为批量向量计算，直接减少 CPU 指令执行条数，这是实现 2.12 倍峰值提速的最关键条件。

2. 全图编译与算子融合优化

ExecuTorch 会把 PyTorch 导出的模型做完整图优化，将音频预处理、卷积、线性层、KV 缓存等连续算子融合成单一计算单元，省去算子之间频繁读写内存的开销，大幅降低内存带宽带来的性能瓶颈。

3. XNNPACK+KleidiAI 双后端协同

推理链路启用 XNNPACK 通用算子库，同时接入 Arm KleidiAI 优化内核，专门针对移动端 CPU 优化 GEMM 矩阵乘法、音频特征提取算子，让流式 ASR 这类连续计算任务充分发挥 CPU 算力。

4. 流式推理缓存优化

针对流式 ASR 分片输入的特点，ExecuTorch 复用历史上下文缓存，不用每一轮分片都重新初始化模型状态，减少重复计算，保障连续语音转录时的速度稳定不衰减。

三、把 PyTorch 流式 ASR 部署到 Pixel 11 的完整操作步骤

步骤 1：模型导出为 ExecuTorch 格式

在 PC 端使用 torch.export 导出流式 ASR 模型，生成 EXIR 中间表示，关闭不必要的梯度计算，只保留推理计算图，保证模型轻量化。

步骤 2：开启 SME2 指令与后端优化

编译 ExecuTorch 运行库，开启 Arm SME2 编译选项，同时启用 XNNPACK 与 KleidiAI delegate，把模型算子下沉到硬件优化内核，生成后缀为.pte 的移动端模型文件。

步骤 3：设置流式分片推理参数

在代码里配置 1120ms 音频分片，开启上下文缓存机制，固定单 CPU 核心绑定线程，避免系统多核抢占影响推理速度，和测试环境保持一致。

步骤 4：在 Pixel 11 上运行全链路测试

把.pte 模型文件与 C++ 运行时打包进 Android 应用，完成音频采集、特征预处理、模型推理、文本解码全链路跑通，统计整体耗时，验证加速效果与识别准确率。

步骤 5：按需选择精度版本

追求极致速度选择 FP16 配置，最高拿到 2.12 倍加速；想要控制功耗与内存占用，直接选用 INT8 量化版本，稳定获得 1.61 倍提速。

四、整体总结

在 Pixel 11 移动端设备上，依托 ExecuTorch 框架开启 SME2 指令优化后，流式 ASR 模型最高可以实现 2.12 倍推理加速，FP16 精度达成峰值提速，INT8 量化版本同样具备可观性能提升；整套优化依靠算子融合、向量指令集、硬件后端协同、流式缓存四项技术共同实现，单颗 CPU 核心就可以完成实时离线语音转录，不会出现延迟卡顿。开发者只需要完成模型导出、开启硬件指令、绑定单线程算力这几步操作，就能把云端级别的流式语音模型高效部署到安卓旗舰手机上，在保证识别效果不变的前提下，大幅降低端侧语音应用的运行延迟与电力消耗。

【相关 FAQ】

问题 1：ExecuTorch 在 Pixel 11 设备上给流式 ASR 带来的最高加速倍数是多少？

回答 1：ExecuTorch 在 Pixel 11 设备上开启 SME2 优化后，FP16 精度的流式 ASR 模型最高可以达到 2.12 倍推理加速，INT8 量化版本可以实现 1.61 倍提速。

问题 2：ExecuTorch 实现流式 ASR 2.12 倍加速的核心硬件条件是什么？

回答 2：核心硬件条件是 Pixel 11 的 Arm CPU 支持 SME2 向量扩展指令，ExecuTorch 编译器可以将矩阵运算映射到 SME2 硬件指令，这是达成 2.12 倍峰值提速的关键基础。

问题 3：部署 ExecuTorch 流式 ASR 到 Pixel 11，要不要锁定单 CPU 核心运行？

回答 3：需要锁定单颗中端 CPU 核心运行单线程推理，避免多核调度造成性能波动，和本次 2.12 倍加速的测试环境保持一致，保障推理速度稳定。

【数据来源】

[2026-10-26]《在 Arm 边缘设备上用 ExecuTorch 优化流式语音识别》PyTorch 官方博客PyTorch

[2026-10-26]《ExecuTorch 1.3.1 移动端 ASR 性能测试：Pixel 11 SME2 优化数据》PyTorch 技术文档PyTorch

[2026-10-25]《ExecuTorch 流式语音模型部署实操：分片推理与缓存优化》机器之心

[2026-10-25]《Arm SME2 指令集在移动端语音模型上的加速效果实测》Arm 开发者社区

[2026-10-24]《PyTorch 端侧部署：ExecuTorch XNNPACK 后端优化指南》InfoQ

免责声明

本文所有性能数据均来自 PyTorch 公开案例的固定测试环境，实际运行速度会受手机系统负载、后台进程、CPU 温度调度影响；SME2 指令仅支持新一代 Arm 架构设备，老旧机型无法开启该项优化；流式 ASR 部署前需要完成精度校验，保证提速之后识别效果不出现衰减。