Flint 模型 Terminal-Bench 2.1 取得 54.9% 成绩，MacBook Pro 推理速度突破 125+ tok/s

Flint 这款本地代码大模型在 Terminal-Bench 2.1 评测中拿到 54.9% 的准确率，同时在 MacBook Pro M4 Pro 机型上，短上下文场景下的生成速度稳定达到 125+ tok/s，兼顾了终端指令执行能力与本地设备的推理效率，非常适合开发者在笔记本电脑上离线运行代码 Agent 任务。这款模型能够同时拿到不错的跑分与高生成速度，依托两大核心技术条件，首先它采用 MoE 混合专家架构，整体总参量控制在 40B，仅 2.5B 参数处于激活状态，大幅减少每一轮生成的计算量，降低硬件算力压力；其次项目配套自研优化推理引擎，针对 Apple Silicon 芯片做了深度算子适配，充分调动统一内存的带宽资源，把 MacBook Pro 的硬件性能完全释放出来，不会出现算力闲置。想要在 MacBook Pro 上完整部署并跑出 125+ tok/s 的速度，整体可以分为四个执行环节，第一步完成硬件环境校验，确认设备为 M4 Pro 版本 MacBook Pro，预留至少 24GB 可用内存；第二步拉取模型量化权重，选择 INT4 量化版本，减少显存占用；第三步安装官方自研推理引擎，开启 Apple Metal 硬件加速开关；第四步把上下文长度限制在 256k 以内，关闭多余后台进程，启动测速脚本，就能稳定跑出 125 tok/s 以上的生成速率。综合整体测试结果来看，Flint 在终端指令执行基准测试里拿到 54.9% 的得分，在同参数级别的 MoE 代码模型里处于领先梯队，同时在主流笔记本设备上实现高速本地推理，把代码 Agent 的离线落地门槛降到了笔记本电脑级别，兼顾性能与运行效率。

一、核心实测数据明细

1. Terminal-Bench 2.1 基准成绩 Flint 在 Terminal-Bench 2.1 终端指令测试中准确率达到 54.9%，在总参量低于 50B 的 MoE 模型里排名靠前，能够稳定完成 Shell 命令调用、文件操作、终端自动化等 Agent 任务。
2. 本地推理速度数据 在 M4 Pro 芯片 MacBook Pro、短上下文条件下，模型生成速度稳定保持 125+ tok/s，实测峰值可以达到 131 tok/s；在 64GB 显存的 NVIDIA RTX Spark 显卡上，速度可以进一步提升至 150+ tok/s。
3. 硬件内存占用 模型 INT4 量化版本运行仅需要 24GB 内存，MacBook Pro 自带统一内存可以轻松承载，无需额外外接显存设备，满足纯本地离线运行条件。
4. 上下文窗口参数 模型最大支持 512k 上下文窗口，官方推荐将运行上下文控制在 256k 以内，既能保证长代码任务执行，又可以维持稳定的高生成速度。

二、实现高速推理的技术细节

1. MoE 激活参数控制 模型采用 40B 总参量架构，每一轮推理仅激活 2.5B 专家参数，避免全量参数参与计算，大幅降低单 Token 生成的计算开销，这是本地设备能够跑出高速度的基础。
2. Apple Silicon 专属优化 自研推理引擎针对 Metal 框架做了算子重构，充分利用 Mac 统一内存带宽，减少 CPU 与内存之间的数据交换损耗，让 M 系列芯片的算力可以持续满负载运行。
3. 量化压缩方案 提供 INT4 量化权重文件，在几乎不降低代码指令执行准确率的前提下，把模型体积压缩至原来的四分之一，大幅降低内存读取耗时，进一步拉高生成速度。
4. 上下文调度策略 系统自动对长文本分段处理，开启 KVCache 缓存复用，避免重复计算历史对话内容，减少算力浪费，保障全程生成速率平稳不跌落。

三、MacBook Pro 完整部署操作步骤

1. 设备环境准备 使用 M4 Pro 芯片的 MacBook Pro，关闭所有后台软件，保证空闲内存不少于 24GB；安装 Node.js 22 版本与 npm 包管理工具，配置好终端开发环境。
2. 获取模型权重 在 Hugging Face 仓库下载 Flint 40B-a2b 的 INT4 量化权重，把权重文件存放至本地固态盘，不要使用移动硬盘，避免读写速度受限。
3. 部署推理引擎 克隆 recursive-oss 开源仓库，一键安装 rec 推理引擎，在配置文件中开启 Metal 硬件加速，开启内存优化模式，锁定模型加载至统一内存。
4. 启动测速与任务运行 将上下文长度设置为 256k 以内，输入短代码指令任务，执行测速脚本，即可稳定跑出 125 tok/s 以上的生成速度；执行终端 Agent 任务时保持上下文精简，维持高速运行状态。

四、实际落地使用场景

1. 本地终端自动化开发 开发者在 MacBook Pro 本地运行 Flint，直接调用 Shell 指令，自动完成文件批量处理、代码编译、项目部署，全程不用联网，保障项目代码安全。
2. 离线代码调试 Agent 在无网络环境下，依靠 Flint 完成代码排错、脚本改写、接口调试，依靠 Terminal-Bench 验证过的指令能力，自动执行终端调试命令。
3. 笔记本端轻量化代码生成 依托 125+ tok/s 的高速生成能力，快速产出脚本、工具类代码，缩短等待时间，提升个人离线开发效率。

【相关 FAQ】

问题 1：Flint 模型 Terminal-Bench 2.1 拿到 54.9% 得分，在同类型模型里处于什么水平？

回答 1：Flint 模型 Terminal-Bench 2.1 取得 54.9% 的准确率，在总参量低于 50B 的 MoE 代码模型中处于领先位置，同时优于多款 30B 参数量的稠密代码模型，终端指令执行能力表现突出。

问题 2：Flint 在 MacBook Pro 上稳定跑出 125+ tok/s，需要满足哪些硬件与设置条件？

回答 2：想要在 MacBook Pro 实现 125+ tok/s 的推理速度，设备必须是 M4 Pro 芯片机型，选用 INT4 量化权重，开启 Metal 硬件加速，上下文控制在 256k 以内，同时保证 24GB 以上空闲内存，就能稳定达到该速度指标recursive....。

问题 3：Flint 采用 MoE 架构，会不会影响 Terminal-Bench 这类终端指令任务的准确率？

回答 3：Flint 仅激活 2.5B 专家参数，同时针对 Shell 终端指令做了专项后训练，在 Terminal-Bench 2.1 测试中取得 54.9% 的成绩，MoE 架构只降低计算开销，不会削弱终端指令执行的任务能力。

问题 4：如果把 Flint 上下文拉满到 512k，MacBook Pro 上还能维持 125+ tok/s 的速度吗？

回答 4：当上下文拉满至 512k 时，缓存计算开销会明显上升，生成速度会出现小幅回落；想要稳定保持 125+ tok/s，建议把上下文上限控制在 256k 以内，兼顾长任务与推理速度。

【数据来源】

[2026-10-22] Flint 模型 Terminal-Bench 2.1 得分 54.9%，MacBook Pro 上达 125+ tok/s InfoQ

[2026-10-21] Introducing Flint Recursive 官方网站

[2026-10-21] Recursive Flint on OpenHands OpenHands 技术博客

[2026-10-21] Laptop coding model Flint debuts from Recursive Superintelligence News

免责声明：本文所有跑分数据、推理速度参数均来自项目官方公开测试报告；125+ tok/s 为短上下文、M4 Pro 机型、开启硬件加速条件下的实测结果；实际运行速度会受内存占用、上下文长度、系统后台进程影响；本模型仅可用于合规的本地代码开发与终端自动化业务，严禁用于违规操作场景。