首页 >> 综合 > 快讯 >

Cmpnd 发布 dspy-wspLLM 直接编辑小模型权重

2026-11-16 06:10:59 来源:网易 编辑:穆豪德 

Cmpnd 推出了 dspy-wsp 这个 DSPy 原型优化器,它的核心就是权重空间编程,简单说就是用一个更强的前沿大模型,直接读取并且修改小模型的权重参数,不用梯度计算、不用训练循环,也不需要专门的微调数据集,和传统微调、提示词优化完全不是一个路子。之前大家优化小模型,要么改提示词,要么走梯度微调,都绕不开训练数据或者梯度更新,而 dspy-wsp 让大模型像工程师一样看懂权重张量,找出模型哪里表现不好,直接写代码补丁改动权重。它可以直接接入 DSPy 的程序和评估指标,上手门槛很低,测试里用 GPT-6-Astra 作为 Writer 模型,花费 5 到 10 美元的调用成本,测试的各个决策小模型效果都得到提升,像 d1-omni-600M 模型搭配 ReAnchor 之后,准确率从 50.9% 提升到 69.1%,不过它目前只是实验原型,不适合直接拿去生产环境使用,在 9B 参数级别模型上,收益就会明显下降。

核心原理

  • 角色划分:分为 Writer 大模型(前沿 LLM)和 Student 小模型(被修改的模型)
  • Writer 读取 Student 模型权重张量,分析模型缺陷,生成权重修改代码补丁
  • 直接执行补丁修改权重,全程没有反向传播、梯度下降、训练数据集
  • 封装成 DSPy 里面的 WeightSpace 优化器,兼容原有 DSPy 评估指标体系

基础使用信息

  • 安装命令:pip install dspy-wsp
  • 依赖版本:DSPy 3.5
  • 开源协议:MIT 协议
  • 测试模型范围:0.6B~9B 参数的决策类小模型
  • 单次 25 轮编辑:耗时 78–167 分钟,费用区间 5.42–7.63 美元

和传统微调、提示优化对比

方案是否需要梯度是否需要微调数据集修改对象
dspy-wsp 权重空间编程不需要不需要模型权重张量
梯度微调需要需要模型权重
提示词优化(MIPROv2)不需要少量评估数据提示文本

现有局限

  1. 属于原型实验工具,稳定性不足,不能替代标准微调方案
  2. 模型越大,收益衰减明显,9B 以上模型提升效果有限
  3. 依赖强能力 Writer LLM,调用会产生额外 API 成本
  4. 目前主要在决策类模型上验证,通用大模型、多模态模型效果还缺少大量验证

【相关 FAQ】

问题 1:dspy-wsp 权重空间编程和普通微调最大差别是什么?

回答 1:dspy-wsp 是由前沿 LLM 直接编辑小模型权重,不需要梯度、训练循环和微调数据集;普通微调依靠梯度下降,必须准备对应的训练数据集,依靠反向传播更新权重。

问题 2:dspy-wsp 可以直接用于线上生产环境吗?

回答 2:不可以,dspy-wsp 只是实验原型优化器,目前验证场景有限,稳定性和鲁棒性不足,只能用于技术探索和实验,不能替代正式微调方案上线。

问题 3:dspy-wsp 支持多大参数的模型做权重编辑?

回答 3:目前测试主要覆盖 0.6B 到 9B 参数的决策类小模型,随着模型参数变大,dspy-wsp 带来的效果提升会明显变小。

问题 4:跑 dspy-wsp 一次大概要花多少钱?

回答 4:测试里 25 轮权重编辑,使用 GPT-6-Astra 作为 Writer 模型,费用大约在 5.42 美元到 7.63 美元区间,整体成本区间在 5–10 美元。

【参考资料】

[2026-11-16](全球 AI 大模型领域全面即时资讯)InfoQ

[2026-11-15](DSPy abre nuevas posibilidades para ajustar modelos directamente desde sus pesos)helguera.es

[2026-11-14](Cmpnd Releases dspy-wsp: Weight-Space Programming Comes to DSPy)MarkTechPost

[2026-11-13](Weight-Space Programming with DSPy — Cmpnd)Cmpnd 官网

【免责声明】

本文内容仅为 AI 技术资讯整理,dspy-wsp 为实验原型工具,技术效果、成本、适用范围均来自公开测试信息,不构成技术选型、商用落地建议,使用该工具带来的效果、费用风险由使用者自行承担。

 
最新文章