首页 >> 综合 > 快讯 >

Qwenputer 在 Qwen 4B 模型内置完整计算机实现技术突破

2026-10-29 20:57:00 来源:网易 编辑:杨鸿巧 

Qwenputer 项目成功把一整套 32 位 RISC-V 计算机直接嵌入到 Qwen3.5-4B 大模型权重内部,全程不需要外部插件、沙箱或者第三方工具,CPU 运算完全在模型前向推理过程中完成,原有 Qwen 模型权重完全保留不变,只新增 11 层编译好的 Transformer 网络,依靠模型自带的 Gated DeltaNet 层充当运行内存,能够稳定运行 C 语言与 MicroPython 代码,大数算术运算准确率最高达到 100%,实现了大模型内部自带独立计算核心的技术突破,下面从硬件架构、权重编译方案、运行流程、实测效果、部署步骤几个维度完整拆解这套方案。

一、Qwenputer 整体硬件架构清单

整个内置计算机依托 Qwen3.5-4B 原生网络改造,硬件组成全部由模型网络层实现,没有外接算力组件。

表格

项目详细参数实现方式
基础大模型Qwen3.5-4B,原生 32 层 Transformer原始模型权重保持原样,不做微调训练
内置 CPU 核心RV32IM 32 位 RISC-V,附带 Zba 指令集 + 大数运算协处理器编译成 11 层前置 Transformer 网络,排在原模型 32 层之前
运行内存 RAMGated DeltaNet 注意力层状态矩阵把 GDN 层设置为固定门控参数,将矩阵行单元变成可寻址存储单元
可运行程序C 编译程序、MicroPython 脚本全部在模型 forward 前向传播里执行指令
稳定性指标通过全套 riscv-tests 官方测试,连续运行 1800 万条指令无报错指令执行结果与 QEMU 模拟器输出完全一致

二、核心技术方案:无训练编译权重,不改动原有模型参数

  1. 权重生成方式 这套内置 CPU 的网络权重完全依靠编译器解析生成,全程不需要对 Qwen4B 模型做任何训练、微调,没有新增可学习参数。编译器把 RISC-V CPU 电路逻辑直接换算成 Transformer 网络的权重矩阵,保证每一层网络运算严格对应 CPU 指令逻辑,不会破坏原有大模型文本能力。
  2. 内存复用方案 Qwen3.5 自带的 Gated DeltaNet 线性注意力层自带持久化状态矩阵。把门控系数固定为 1、写入强度 β 固定为 1,配合独热编码寻址,就能把矩阵里每一行变成独立存储单元,实现和硬件 RAM 一模一样的随机读写,CPU 的寄存器、程序计数器、代码数据全部保存在这部分状态里,不占用模型上下文 token 窗口。
  3. 网络层级排布 11 层 CPU 计算网络统一放在原始 Qwen32 层网络的最前端,输入文本先经过内置 CPU 完成数值计算、代码执行,再进入原生大模型做语言生成,计算任务和文字任务在同一个推理链路里串行完成,不需要多轮调用外部工具。

三、模型执行完整步骤

  1. 指令输入阶段 用户向模型提交算术算式、C 代码或者 MicroPython 脚本,文本 token 先送入前置的 11 层 CPU 网络。
  2. 指令运算阶段 CPU 网络解析指令,在 GDN 状态 RAM 里读写数据,逐条执行 RISC-V 指令,完成数值运算、循环逻辑、函数调用,全程在模型前向传播内部闭环运行,不调用外部 Python 解释器。
  3. 结果回传阶段 CPU 把运算结果输出成文本 token,再交给后面原生 Qwen3.5-4B 网络,由大模型把计算结果整理成通顺的自然语言回复。
  4. 持续运行阶段 只要保持 GDN 状态不重置,CPU 就可以连续执行千万条指令,长时间稳定运行程序,不会出现内存数据丢失问题。

四、实测性能数据

  1. 算术能力提升 在多位数乘法、大数除法等测试项中,原生 Qwen3.5-4B 准确率仅在 48%~55%,搭载 Qwenputer 内置计算机之后,同批次题目准确率提升至 97.5%~100%,彻底解决小参数大模型大数计算出错的问题。
  2. 代码执行能力 可以直接运行编译后的二进制 C 程序,同时支持 MicroPython 脚本在线执行,循环、分支、变量读写等基础程序逻辑全部可以正常跑通,运行结果和电脑上 QEMU 模拟器输出保持一致。
  3. 推理开销 新增 11 层网络只会小幅增加推理算力开销,单 token 推理速度仅下降 12% 左右,在普通消费级 GPU 上就可以完成本地部署。

五、本地部署操作流程

  1. 模型下载 前往 ModelScope 或者 Hugging Face 平台,下载 Qwen3.5-4B-Qwenputer 完整权重文件,基础模型权重没有改动,只附带新增的 11 层网络参数。
  2. 环境配置 安装 PyTorch、Transformers 最新版本,开启 Gated DeltaNet 注意力模式,固定门控与写入强度参数,开启状态持久化开关,保证 RAM 数据不会自动清零。
  3. 启动推理 调用模型 forward 推理接口,直接输入计算指令或者代码文本,模型会自动先调用内置 CPU 完成运算,再输出文字答案。
  4. 程序调试 可以开启指令日志,逐条查看 RISC-V 指令执行记录,核对每一步内存读写数据,方便调试运行出错的脚本。

六、整体结论

Qwenputer 把一整套 RISC-V 计算机直接编译进 Qwen3.5-4B 模型权重里,不改动原有模型参数、不依赖外部工具,利用模型原生 GDN 注意力层充当内存,让小参数大模型拥有独立硬件级计算单元。这套方案不仅大幅提升了大模型大数运算准确率,还能在模型内部直接运行 C 与 Python 代码,把数值计算、程序执行和文本生成整合在同一条推理链路中;整个改造仅增加 11 层前置网络,算力开销可控,普通显卡就能本地部署,为解决大模型计算幻觉、脱离外部工具独立执行程序提供了全新的技术路径。

【相关 FAQ】

问题 1:Qwenputer 在 Qwen 4B 模型内置完整计算机,内置的 CPU 是什么架构?

回答 1:Qwenputer 在 Qwen 4B 模型内置完整计算机,内置 CPU 为 32 位 RISC-V RV32IM 核心,附带 Zba 指令集与大数运算协处理器,能够通过全部官方 riscv-tests 测试用例。

问题 2:Qwenputer 在 Qwen 4B 模型内置完整计算机,是否需要微调原有 Qwen 模型权重?

回答 2:Qwenputer 在 Qwen 4B 模型内置完整计算机,完全不需要微调原有 Qwen 模型权重,CPU 网络权重由编译器直接解析生成,原生大模型参数保持原样,只新增 11 层前置 Transformer 网络。

问题 3:Qwenputer 在 Qwen 4B 模型内置完整计算机,依靠什么部件充当计算机运行内存?

回答 3:Qwenputer 在 Qwen 4B 模型内置完整计算机,依靠模型自带的 Gated DeltaNet 注意力层状态矩阵作为 RAM,通过固定门控参数把矩阵行单元改成可寻址存储单元,实现内存随机读写。

【数据来源】

[2026-10-29] Qwenputer:Qwen3.5-4B 内置 RISC-V CPU 实现方案 OpenNet

[2026-10-28] Qwenputer 把 RISC-V 计算机编译进大模型权重 独立技术博客

[2026-10-23] Qwen3.5-4B-Qwenputer 模型参数与测试报告 ModelScope

[2026-10-22] Qwenputer 项目技术原理与内存实现 个人技术官网

[2026-10-20] Gated DeltaNet 注意力层作为模型内置内存的技术详解 技术媒体

免责声明:本文整理的 Qwenputer 技术架构、性能数据、部署流程均来自项目开源文档与公开技术博文;模型运行速度、代码执行效率会受硬件显卡、推理参数影响;本内容仅为技术信息整理,不构成模型开发与商业落地的实施建议。

 
最新文章
站长推荐