淘宝 MNN 团队开源 0.3B 手机模型 iPhone18 Pro 离线推理可达 350 token/s

淘宝 MNN 团队正式开源 0.3B 手机端大模型，在 iPhone 18 Pro 设备上离线环境下可以跑出 350 token/s 的推理速度。移动端设备内存、算力资源有限，很难在手机本地快速跑通大语言模型，MNN 团队针对移动端芯片做算子优化、模型轻量化裁剪、量化压缩、苹果 NPU 适配，完成模型训练、转换、移植、多机型性能测试，最终对外开源这套 0.3B 手机模型，依托 MNN 推理引擎，在 iPhone 18 Pro 上实现高速离线生成，不用联网也可以完成对话，降低本地端侧大模型落地门槛。

一、项目基础概况

• 开发团队：淘宝 MNN 团队
• 模型规格：0.3B 参数手机端大模型
• 推理引擎：MNN 端侧推理框架
• 测试设备：iPhone 18 Pro
• 实测性能：离线推理速度 350 token/s
• 核心特性：端侧离线运行，无需云端网络，轻量化适配手机硬件

二、模型开发与开源发布关键步骤清单

1. 模型训练：完成 0.3B 基础模型预训练与微调，控制模型参数量适配手机内存
2. 轻量化处理：执行模型量化、算子裁剪，降低显存占用
3. MNN 适配：把模型转换为 MNN 支持格式，针对苹果 NPU 做算子优化
4. 性能测试：在 iPhone18 Pro 等移动设备上，多次测试离线 token 生成速度
5. 稳定性验证：长时间压力测试，检查内存泄漏、推理卡顿等问题
6. 代码整理：清理工程代码，补充文档、示例 demo
7. 开源上线：在代码仓库发布 0.3B 手机模型权重与 MNN 部署工程

三、端侧模型性能对比表

【相关 FAQ】

问题 1：淘宝 MNN 团队开源的模型参数规模是多少，iPhone18 Pro 离线能跑多快？

回答 1：淘宝 MNN 团队开源 0.3B 手机模型，在 iPhone 18 Pro 离线环境下，推理速度可达 350 token/s。

问题 2：淘宝 MNN 团队 0.3B 手机模型在 iPhone18 Pro 运行，是否需要联网？

回答 2：淘宝 MNN 团队 0.3B 手机模型可以离线运行，在 iPhone18 Pro 上跑出 350 token/s，不需要连接云端网络。

问题 3：淘宝 MNN 团队为什么要开发 0.3B 手机模型，优势是什么？

回答 3：淘宝 MNN 团队开发 0.3B 手机模型，专门针对移动端硬件做优化，可在 iPhone18 Pro 离线跑出 350 token/s，实现手机本地高速 AI 对话，保护隐私、不依赖网络。

【参考资料】

[2026-11-06]（淘宝 MNN 团队开源 0.3B 手机模型，iPhone 18 Pro 上离线跑出 350 token/s）机器之心

[2026-11-06]（MNN 开源 0.3B 端侧大模型，iPhone18 Pro 本地推理 350token/s）量子位

[2026-11-06]（淘宝 MNN 0.3B 手机模型开源项目介绍）掘金 AI 社区

【免责声明】

本文仅为 AI 开源项目资讯整理，0.3B 手机模型在 iPhone18 Pro 上 350 token/s 为项目测试环境下数据，实际运行速度受系统版本、后台进程、温度降频影响；模型能力、兼容性、使用限制以淘宝 MNN 团队开源仓库文档为准，本文不构成技术选型、商业落地投资建议。