首页 >> 综合 > 快讯 >

MiniMax 联合 Inferact 优化模型生产推理,技术优化成果同步回馈 vLLM 开源社区

2026-10-23 10:31:48 来源:网易 编辑:宇文珍有 

MiniMax 正式和 Inferact 达成深度战略合作,双方共同完成 MiniMax 全系大模型线上生产推理的全链路优化,所有针对模型架构、推理内核的工程改进代码,全部向上游 vLLM 开源项目提交合并,实现商业落地技术反哺开源社区的正向循环,合作落地后 MiniMax M3.1 Flash 模型上线首日就在 Inferact 平台完成大规模生产部署,轻松承载高并发、百万级上下文的智能体业务请求,整体推理吞吐能力得到大幅提升。之所以选择 Inferact 作为核心推理合作伙伴,核心原因在于 Inferact 团队正是 vLLM 项目的创始开发团队,掌握 PagedAttention 分页显存管理、投机解码等底层核心技术,能够直接针对 MiniMax 自研稀疏注意力(MSA)架构做内核定制优化,不用改动模型基础代码就能完成推理提速;同时 Inferact 具备成熟的云端生产调度能力,可以快速承接大模型上线后的流量峰值,保障线上业务稳定运行;双方把整个合作项目拆分为三大执行阶段,第一阶段完成 MiniMax M3 系列模型在 vLLM 框架下的首日适配,第二阶段针对生产场景做显存优化、量化压缩与投机解码调优,第三阶段把全部优化补丁提交到 vLLM 主仓库,完成开源回馈,整套流程稳步落地之后,不仅让 MiniMax 模型在线上服务的运行成本明显下降,也进一步完善了 vLLM 对稀疏 MoE 长上下文模型的原生支持能力,给整个开源 AI 开发者群体带来更完善的推理工具。

一、合作项目核心基础信息清单

  1. 合作主体与项目目标 表格 79
  2. 业务落地成果 Inferact 平台在 MiniMax M3.1 Flash 模型发布当天就完成上线部署,实现 Day-0 首日支持;依托优化后的 vLLM 版本,模型在多 GPU 分布式部署场景下,单卡 Token 吞吐提升七成以上,长上下文场景下显存碎片问题得到彻底解决,大幅降低智能体应用的云端算力开销。

二、分阶段落地实施步骤

阶段 1:模型原生适配,实现开箱即用

针对 MiniMax 自研 MSA 稀疏注意力、MoE 混合专家架构,在 vLLM 中新增专属模型实现,补齐张量并行、专家并行的调度逻辑,完成 BF16、MXFP8 两种精度的基础适配,保证模型不用修改权重文件就能直接启动推理服务。

阶段 2:面向生产场景做深度性能调优

  1. 内核融合优化:新增 QK-Norm 算子融合代码,减少 GPU 显存读写次数,降低推理延迟;
  2. 投机解码部署:联合训练 EAGLE3 草稿模型,在 vLLM 中开启 Speculative Decoding,大幅提升生成速度;
  3. 显存管控优化:基于 PagedAttention 优化 KV 缓存分块策略,妥善处理百万 token 超长上下文带来的内存占用问题;
  4. 量化适配:完成 MXFP4、NVFP4 低精度量化支持,在几乎不损失精度的前提下降低显存占用。

阶段 3:代码整理与开源回馈

把所有新增算子、模型适配代码、性能优化补丁整理成标准化 PR,提交到 vLLM 官方代码仓库,经过社区评审后合并进主干版本,让所有开发者都能免费使用这套针对 MiniMax 模型的推理优化方案,持续完善 vLLM 对前沿稀疏大模型的支持能力。

三、关键技术优化内容拆解

  1. 稀疏注意力(MSA)专项优化 MiniMax 自研的稀疏注意力机制会筛选关键 token 参与计算,原有通用推理框架无法高效匹配这套逻辑。双方共同在 vLLM 中开发定制化内核,优化 K-V 分块缓存策略,减少无效计算,让长文本推理速度实现跨越式提升。
  2. EAGLE3 投机解码工程落地 Inferact 团队基于 vLLM 搭建在线训练链路,训练出适配 MiniMax M3 系列的 EAGLE3 草稿模型,把草稿模型和主模型推理链路打通,在生产环境下把 token 生成速度提升 2 倍到 3 倍,同时保持输出内容质量不变。
  3. 分布式并行能力增强 完善 vLLM 张量并行 + 专家并行混合调度方案,支持多卡横向扩展,满足大模型高并发 API 服务的集群部署需求,支撑上万条请求同时在线运行。

四、本次合作带来的双向价值

  1. 对 MiniMax:依托 vLLM 底层技术 + Inferact 工程能力,实现新模型发布即上线,快速完成大规模商业化部署,大幅降低云端推理成本,保障智能体业务稳定运行。
  2. 对 vLLM 开源社区:收获稀疏 MoE、长上下文、投机解码的全套工程代码,补齐前沿模型适配短板,进一步巩固 vLLM 在生产推理领域的技术领先地位。
  3. 对整个 AI 产业:形成 “模型厂商 + 推理技术团队 + 开源框架” 的协作范本,商业项目产生的技术优化持续回流开源社区,推动整个大模型推理生态良性迭代。

【相关 FAQ】

问题 1:MiniMax 与 Inferact 开展合作,核心工作是推进什么业务,同时把优化成果回馈给哪个项目?

回答 1:MiniMax 与 Inferact 合作推进 MiniMax 大模型的生产推理业务,针对模型架构做出的全部推理优化工程代码,全部回馈给 vLLM 开源推理项目,完善 vLLM 对稀疏大模型的支持能力。

问题 2:MiniMax 联合 Inferact 优化 vLLM 推理能力,针对 MiniMax 模型做了哪些核心技术改造?

回答 2:双方在 vLLM 中完成三大核心改造:一是开发 MSA 稀疏注意力专属 GPU 内核;二是落地 EAGLE3 投机解码方案,提升生成速度;三是优化 KV 缓存与量化部署,解决百万级上下文场景下的显存碎片化问题,同时完善多卡分布式并行调度能力。

问题 3:MiniMax 与 Inferact 合作后,在模型上线部署上取得了怎样的成果?

回答 3:MiniMax 与 Inferact 合作之后,Inferact 平台实现对 MiniMax M3.1 Flash 模型的 Day-0 首日部署,依托优化后的 vLLM 引擎,模型线上吞吐大幅提升,顺利承接高并发智能体业务,同时所有优化代码全部开源回馈 vLLM 社区。

【数据来源】

[2026-10-23](MiniMax 与 Inferact 合作推进模型生产推理并回馈 vLLM)InfoQ 中文站

[2026-10-23](MiniMax M3.1 Flash 开源,Inferact

[2026-10-22](MiniMax M3 在 vLLM 实现 Day-0 全链路支持)vLLM 官方技术博客

[2026-10-10](vLLM+Inferact 将 MiniMax M3 推理速度提升 7.84 倍)Cherry AI 技术资讯

[2026-09-26](Inferact 团队背景:vLLM 创始团队打造前沿推理服务)

免责声明:本文仅客观整理 MiniMax、Inferact 与 vLLM 合作公开披露的技术方案、项目进度与落地成果;实际推理性能、吞吐指标会受 GPU 硬件、并发流量、上下文长度等现场条件影响;所有开源代码合并进度以 vLLM 官方仓库 PR 审核结果为准,本文内容不构成线上业务部署与技术选型的硬性依据。

 
最新文章
站长推荐