Hugging Face 官宣 llama.cpp v1 正式发布,本地大模型推理迎来稳定 API 版本
Hugging Face 官方已经正式推出 llama.cpp v1.0.0 版本,底层配套的 ggml 张量库也同步升级到 v1,这也是这个本地 AI 推理项目第一个承诺 API 稳定的正式版本,对所有基于 llama.cpp 做二次开发、本地部署大模型的开发者来说是里程碑更新。之前 llama.cpp 长期处于 0.x 开发版本,接口随时会改动,开发者升级版本很容易出现程序直接报错、代码失效的问题,这次升级之后项目正式启用语义化版本规范,把 API 兼容性写进版本规则里,同时清理大量废弃接口、新增 FP8 KV 缓存、MoE 专家缓存、TTS 语音能力和服务器安全加固,覆盖 Windows、macOS、Linux、安卓、iOS 多平台,打包分发渠道也更加完善,普通用户和开发团队都能更稳定地跑本地大模型。这次发布的核心原因就是 llama.cpp 现在已经是全球本地 LLM 生态最核心的底层库,大量客户端、桌面软件、本地服务都依赖它,项目团队需要给出稳定的接口契约,减少下游开发者的适配成本,同时补齐性能、安全、多模型支持能力,巩固本地 AI 推理基础设施定位。升级操作上,开发者首先要核对自己项目调用的 C 接口,本次直接移除了 35 个废弃函数,旧代码用到这些接口就会编译失败;接着按照新语义版本规则判断升级风险,大版本号变动代表破坏性 API 变更,小版本是兼容新增功能,补丁版本只修复 bug;然后按需开启 FP8 KV 缓存、MoE 专家缓存等新特性,更新 llama-server 服务配置,同步升级 ggml 依赖库;最后在本地、测试环境做完整推理、接口联调测试,确认业务正常后再上线。整体来看,llama.cpp v1 不再是快速迭代的实验工具,转变为可以长期商用、稳定集成的本地推理底层库,后续版本更新的风险变得可控,本地大模型落地门槛进一步降低。
llama.cpp v1 核心更新清单
- 版本规则变更:正式落地语义化版本管理,MAJOR 大版本号变更 = 公开 C API/ABI 不兼容;MINOR 小版本 = 向后兼容新增功能;PATCH 补丁 = 无接口改动的 bug 修复
- 接口清理:移除 35 个废弃的公开接口,NextN 推测解码接口移入标准 llama.h 公共头文件,纳入稳定 API 保障范围
- 性能缓存升级:支持 FP8 KV 缓存,新增 MoE 模型主机内存专家缓存,可配置 CPU 分担策略,降低显存占用,提升 MoE 模型本地推理速度
- 新增模型支持:新增 Kimi-K3.1-Pro、Ripple、xing4_0 文本模型,drama-3 语音模型,MageVL-Cowork、Kimi-K3.1 多模态视觉模型,整体支持超过 150 种模型架构
- 服务器能力增强:llama-server 增加 OpenAI 兼容的 TTS 语音接口 /v1/audio/speech;修复 SSRF、CORS、DNS 重绑定安全漏洞,限制 HF_TOKEN 仅向 Hugging Face 域名发起请求;客户端断开时自动终止 MCP 工具调用任务
- 分发渠道扩充:提供 Linux、macOS、Windows、安卓、iOS 预编译包、Docker 镜像、Debian 包、Homebrew、winget、XCFramework 等多种安装包,不用源码编译也能快速部署
llama.cpp v1 适配步骤
- 拉取 v1.0.0 源码或者对应平台预编译包,同步更新 ggml 库至 v1 版本,保证两个库版本一致
- 检索项目代码,删掉已经废弃的 35 个函数调用,替换成 v1 稳定版提供的标准接口
- 推理配置调整:有显存压力的场景开启 FP8 KV 缓存;跑 MoE 模型时配置专家缓存的 CPU 占比参数
- 服务部署:更新 llama-server,按需开启 TTS 接口,检查安全配置,避免内网风险
- 全量测试:文本生成、多模态、语音生成、工具调用链路逐一验证,确认没有兼容性问题
【相关 FAQ】
问题 1:llama.cpp v1 最核心的变化是什么?
回答 1:llama.cpp v1 最核心变化是承诺稳定 API,启用语义化版本规则,后续只有大版本升级才会带来破坏性接口改动,同时清理旧接口、新增 FP8 KV 缓存、多模型和安全能力,解决过去版本接口经常变动的痛点。
问题 2:已经在用旧版 llama.cpp 的项目升级到 llama.cpp v1 会直接报错吗?
回答 2:如果代码调用了本次移除的 35 个废弃函数,升级 llama.cpp v1 之后会编译或者运行报错,需要提前修改代码替换接口;没有调用废弃接口的项目,升级风险会低很多,但依然建议先在测试环境验证。
问题 3:llama.cpp v1 的 FP8 KV 缓存有什么用处?
回答 3:llama.cpp v1 新增的 FP8 KV 缓存可以压缩 KV 缓存占用的显存空间,同样显存下支持更长上下文,对本地电脑、移动端这类显存不大的设备提升效果很明显。
问题 4:llama.cpp v1 的 llama-server 新增 TTS 接口,兼容什么格式?
回答 4:llama.cpp v1 里 llama-server 新增 /v1/audio/speech 接口,兼容 OpenAI 接口规范,方便现有对接 OpenAI TTS 的程序直接切换成本地 llama.cpp 语音生成。
【参考资料】
[2026-11-13](llama.cpp 1.0.0: Stable API, FP8 KV Cache, Safer Server)Neurohive
[2026-11-13](llama.cpp V1.0.0 Sets API Stability Rules for Local AI Tools)Unite.AI
[2026-11-13](llama.cpp and ggml ship v1.0.0 — semantic versioning comes to the local AI stack)DEV Community
【免责声明】
本文内容仅为行业资讯整理,不构成开发部署建议;llama.cpp v1 版本存在接口变更、兼容性风险,生产环境升级前务必做好充分测试;不同硬件、模型运行效果存在差异,相关性能数据以实际本地环境为准。
相关阅读
- 刷新纪录 TCL 华星 360Hz 笔记本 OLED 屏幕亮相 搭载联想拯救者原型机
- 执掌英伟达 33 年的黄仁勋,从承认风波到辞职离场仅 96 小时
- 实验食蟹猴报价 26 万每只、现货紧缺,订单排期已延续到明年
- 9・11 之后第二次全美地面停飞,美国突发全国航班暂停起飞指令
- 数百万用户受影响微软为全球服务中断道歉
- Google 本周推出第八代 TPU 全系列新品,同步更新 Gemini 4 系列多项能力
- Soumith Chintala 发布 NVFP4 训练详解文章,完整讲解原生 4bit 全链路训练方案
- Thinking Machines 详解 Inkling 2 Small 原生 4-bit 训练路径,采用 NVFP4 端到端训练方案
- DeepSeek 开放 App 全套底层能力全家桶 API开发者自由搭建 AI 应用
- DeepSeek 开放 App 全套能力给开发者 同步开源聊天前端 Harness
- Inkling 2 Small 采用原生 4-bit 前向传播训练,主预训练耗时压缩至 68 小时
- Y Combinator 转发 Anywhere(YC F26)为 Agent 提供地图
- Mnemonic Labs 发布量化交易基础模型,训练数据集规模突破 25TB
- Thinking Machines 详解 Inkling 2 Small 原生 4-bit 前向训练完整流程
- Garry Tan 推出免费技能 Idea Miner 支持递归自我改进挖掘可落地项目想法
- 斯坦福 HAI 大会完整录像上线 YouTube,整套播放列表一共包含 13 个视频
-
泡沫双面胶印胶可以清除干净,核心思路就是先软化胶层,再剥离残胶,最后清洁表面,常用办法包含热风加热 溶...浏览全文>>
-
TCL 华星在 DTC 2026 全球生态大会上展出刷新行业纪录的 360Hz 笔记本喷墨印刷 OLED 面板,这块 16 英寸 2 5K 屏幕装配在联想 浏览全文>>
-
黄仁勋掌舵英伟达长达 33 年,这次事件从 11 月 8 日他发全员信公开承认婚外情、向全员道歉,到 11 月...浏览全文>>
-
近期医药行业的 SPF 级实验食蟹猴市场报价来到 26 万元一只,国内多数合规繁育场已经没有现货,药企、CRO...浏览全文>>
-
当地时间 11 月 13 日,美国联邦航空管理局 FAA 发布全国范围地面停飞令,这是自 9・11 事件之后第二...浏览全文>>
-
标题:数百万用户受影响,微软为全球大范围服务中断公开致歉 微软官方针对这次全球性服务中断事件对外道歉,本...浏览全文>>
-
Google 本周正式扩充第八代 TPU 产品线,新增 TPU 8i Max、TPU 8tx 两款机型,加上早前发布的 8t、8i...浏览全文>>
-
PyTorch 联合创始人 Soumith Chintala 在 Connectionism 平台发布 NVFP4 训练详解文章,这篇文章重点拆解了从预训练首轮到 RL ro 浏览全文>>
-
Thinking Machines Lab 放出技术博客,完整拆解 Inkling 2 Small 原生 4-bit 训练的实现路径,这套方案不是训练完成后再做量化压 浏览全文>>
-
DeepSeek 正式开放全家桶应用 API,直接把 DeepSeek App 网页端背后整套能力打包对外开放,开发者不用自...浏览全文>>
- 泡沫双面胶印胶怎么清除 残胶清理实操指南
- 数百万用户受影响微软为全球服务中断道歉
- DeepSeek 开放 App 全套能力给开发者 同步开源聊天前端 Harness
- Thinking Machines 详解 Inkling 2 Small 原生 4-bit 前向训练完整流程
- Google 发布 Gemini 4 Hydrogen,开发者现已接入使用
- Google Cloud 上线 GEAR 免费认证培训,课程聚焦 PAA 方向
- Sequoia 提醒No Limit Charity Cup 报名本周日截止
- Constor(YC F26)推出建筑 AI 原生操作系统以算量为切入点
- U 盘被写保护怎么办 写保护解除修复教程
- Intel 480GB 显存 Crescent Island 订单超 20 亿美元,PC 玩家不用期待这款卡
- Soumith Chintala 发布 NVFP4 训练详解文章,完整讲解原生 4bit 全链路训练方案
- DeepSeek 开放 App 全套底层能力全家桶 API开发者自由搭建 AI 应用
- Google Research 联合 DeepMind 在剑桥大学举办 AI 研究启发日活动 促进学界 AI 科研协作
- LangChain 完成 3 亿美元融资,估值达 30 亿美元
- Bland 发布语音到语音模型 Tofu-1 主打高风险通话实时对话场景
- Lightspeed 联合领投 Fractile AI 7.2 亿美元 C 轮融资,这家英国推理芯片公司估值冲到 70 亿美元
- NVIDIA Omniverse 推出 SimReady 资产机器人仿真实操教程
- NYU Courant 宣布成立数学与人工智能中心 MAIC
- 英伟达等美股大跌苹果逆势上涨市值刷新最高记录
- 大衣哥朱之文表态不直播带货没法把控产品质量
- 执掌英伟达 33 年的黄仁勋,从承认风波到辞职离场仅 96 小时
- 9・11 之后第二次全美地面停飞,美国突发全国航班暂停起飞指令
- Thinking Machines 详解 Inkling 2 Small 原生 4-bit 训练路径,采用 NVFP4 端到端训练方案
- Inkling 2 Small 采用原生 4-bit 前向传播训练,主预训练耗时压缩至 68 小时
- 斯坦福 HAI 大会完整录像上线 YouTube,整套播放列表一共包含 13 个视频
- Y Combinator 转发 mireye agent可检索美国房地产与政府数据
- ArtificialAnlys 首届图像与视频主题活动正式官宣,公布全部演讲嘉宾名单
- 斯坦福开设CS329Z课程从零构建AI智能体,内容免费在线
- Perplexity 开启前沿产品人才招募,同步预告全新产品
- Google 一周新品汇总 第八代 TPU 新增两款芯片搭配 Gemini 4 系列同步亮相
- 斯坦福 CS329Z《AI 智能体工程》课程视频逐步对外公开,目前已经上线 4 讲
- 候鸟列车迎来南下客流高峰,南北温差大上演上车穿棉袄下车穿短袖
- 杭州 Ulike 脱毛仪出海热销海外 连续四年全球销量第一海外年收入超 7 亿
- llama.cpp 与 ggml 同步推出 v1.0.0 版本,本地推理底层库启用稳定语义化版本
- OpenClaw 将于12月在深圳举办 Claw 节,含黑客松与 ClawCon
- Hugging Face 官宣 llama.cpp v1 正式发布,本地大模型推理迎来稳定 API 版本
- Edge Sound Research 完成 200 万美元融资 打造音频感知方案赋能物理 AI 识别声音
- Navi 在 12 万页金融文档推理任务上超越前沿 AI 模型
- 国内首款大连理工 20 公斤级氢能无人直升机亮相 最长续航 3 小时
- 一张地图引发酒店压力,店方担心出现误伤风险
