首页 >> 综合 > 快讯 >

Mistral AI 推出万亿参数多模态 MoE 模型 Le Chonk

2026-10-29 23:34:13 来源:网易 编辑:贡广珠 

Mistral AI 正式对外发布代号 Le Chonk 的 Mistral Large 4 大模型,这款产品采用原生多模态 MoE 混合专家架构,整体总参数达到 1.05 万亿,单 token 仅激活 490 亿参数,兼顾超大模型知识储备与高效推理能力;这款模型之所以能做到超大参数量与低推理成本并存,核心是采用细粒度稀疏 MoE 架构,只触发少量专家模块参与每一轮计算,同时内置 16 亿参数视觉编码器,原生支持图文混合输入,还配备百万级超长上下文窗口;项目研发落地有着清晰完整的实施路径,先完成稀疏 MoE 网络结构设计,再完成图文多模态模块融合训练,接着开展海量数据全量预训练,最后完成多场景微调与性能优化,最终顺利完成模型公测上线;依托这套技术架构,Le Chonk 既能处理超长文档分析、代码开发、网络安全研判等文字任务,还可以直接读取工程图纸、卫星影像等图片内容,企业可以通过云端 API 快速调用,后续还会开放模型权重,方便企业本地私有化部署,大幅降低万亿级多模态大模型的落地门槛。

一、Le Chonk 模型核心参数清单

  1. 模型正式名称:Mistral Large 4,内部昵称 Le Chonk
  2. 整体架构:细粒度 MoE 混合专家、原生多模态设计
  3. 总参数量:1.05 万亿参数
  4. 单 token 激活参数:490 亿参数
  5. 视觉编码器:16 亿独立参数
  6. 上下文窗口:最高支持 100 万 token
  7. 输入形式:文本 + 图片多模态输入,输出为文本内容
  8. 训练硬件:3800 片 NVIDIA Grace Blackwell GPU
  9. 上线状态:2026 年 10 月开启 API 公开预览,10 月底开放开源权重

二、MoE 稀疏架构性能对照表

表格

项目Le Chonk(MoE 稀疏模型)同规模稠密大模型
总参数量1.05 万亿1.05 万亿
单次推理激活参数490 亿1.05 万亿
算力消耗大幅降低算力消耗极高
部署难度支持云端 API + 本地私有化仅能部署在超大规模算力集群
多模态能力原生图文融合需要额外外接视觉模块

三、模型研发四步实施流程

  1. 第一步:完成基础架构设计,搭建细粒度 MoE 专家网络,划分文本专家与视觉专家模块。
  2. 第二步:多模态模块融合,将视觉编码器与主干大模型完成对接,实现图文信息统一编码。
  3. 第三步:全量预训练,在欧洲自有数据中心使用海量文本与图像数据完成从零训练,完成基础知识学习。
  4. 第四步:场景微调与公测,针对代码、工程识图、长文本分析等场景做指令微调,随后开放云端 API 供开发者测试使用。

四、Le Chonk 模型主流落地场景

  1. 工程制造场景:解析机械图纸、设备结构图,自动生成工艺文档。
  2. 软件开发场景:大规模代码生成、漏洞排查、多项目程序调试。
  3. 金融法务场景:百万字合同、财报长文档批量梳理与风险提取。
  4. 遥感分析场景:读取卫星图片,自动识别地面设施与地理信息。
  5. 网络安全场景:自动化研判系统漏洞,生成安全检测脚本。

【相关 FAQ】

问题 1:Mistral AI 发布的 Le Chonk 模型,采用什么样的技术架构?

回答 1:Mistral AI 发布的 Le Chonk 模型采用细粒度 MoE 混合专家架构,属于原生多模态大模型,总参数达到 1.05 万亿,单 token 仅激活 490 亿参数,兼顾大模型能力与推理效率。

问题 2:Mistral AI 的 Le Chonk 模型,多模态能力包含哪些配置?

回答 2:Mistral AI 的 Le Chonk 模型内置 16 亿参数视觉编码器,原生支持文本 + 图片联合输入,上下文窗口最高可达 100 万 token,能够同时处理文字文档与工程图像、卫星影像等视觉内容。

问题 3:Mistral AI 推出的 Le Chonk 模型,什么时候可以拿到开源权重?

回答 3:Mistral AI 推出的 Le Chonk 模型在 2026 年 10 月开启云端 API 公开预览,计划在同年 10 月底正式对外开放开源模型权重,支持企业本地私有化部署。

问题 4:部署 Mistral AI Le Chonk 模型,相比稠密万亿参数模型有哪些优势?

回答 4:部署 Mistral AI Le Chonk 模型,依靠稀疏 MoE 设计,每次推理只激活少量参数,算力开销大幅下降,既可以调用云端 API,也可以在自建算力集群完成本地部署,落地成本远低于同等规模的稠密大模型。

【数据来源】

[2026-10-06] Mistral Large 4(Le Chonk)正式开启公开预览 Mistral AI 官方网站

[2026-10-06] Mistral 发布万亿参数多模态 MoE 模型 Le Chonk MarkTechPost

[2026-10-07] Mistral Large 4 Le Chonk 参数与定价详情 ITmedia NEWS

[2026-10-09] Le Chonk 多模态能力与 MoE 架构深度解读 DataCamp

[2026-10-12] Mistral Le Chonk 模型落地场景与部署方案 机器人大讲堂

免责声明:本文中 Le Chonk 模型的参数配置、架构设计、上线时间均来自 Mistral AI 官方公告与海外科技媒体公开报道;模型实际推理速度、多模态识别效果会受硬件环境与输入内容影响;本文仅为技术信息解读,不构成大模型采购、私有化部署项目的投资与技术选型决策依据。

 
最新文章
站长推荐