首页 >> 综合 > 快讯 >

RightNow 上线自研极速推理引擎配套推理 API,兼容主流开源大模型

2026-11-17 06:15:42 来源:网易 编辑:广良子 

RightNow 推出了搭载自家自研极速推理引擎的推理 API,这套引擎从底层 GPU CUDA、Triton 内核开始做全链路优化,主打低延迟、高吞吐的大模型在线推理,开发者不用自己折腾内核调优、KV 缓存调度、解码策略,直接调用 API 就能跑 DeepSeek、Qwen、GLM 等主流开源权重模型,同时接口兼容 OpenAI、Anthropic 的 SDK 格式,原有代码改动很小就能迁移,很适合 AI 智能体、流式对话、高并发业务场景,也是 YC 孵化团队在 GPU 内核优化方向落地的线上服务产品。

一、自研推理引擎核心优化模块

  1. AutoKernel 自动内核搜索:自动定位模型里 GPU 瓶颈算子,迭代生成、验证最优 Triton/CUDA 内核,不是固定一套内核适配所有模型
  2. TIDE 逐 Token 早退出机制:依据 token 信息动态控制模型推理深度,在保证输出质量的前提下削减冗余计算
  3. StreamIndex 稀疏注意力压缩:做带内存上限的 KV 缓存压缩,拉高缓存命中率,降低显存占用
  4. 混合解码调度:对不同模型自动匹配投机解码、FP8 量化、连续批处理策略,每个模型单独调参

二、推理 API 基础信息表

项目详情
兼容模型DeepSeek 系列、Qwen 系列、GLM 系列等主流开源权重模型
接口兼容OpenAI / Anthropic SDK 兼容,支持流式 SSE、WebSocket
计费方式按 token 计费,区分输入、缓存命中输入、输出三种单价
缓存能力高缓存命中率,部分模型缓存命中率超过 98%
底层硬件适配 NVIDIA Hopper、Blackwell、Ada 等系列 GPU

三、使用优势与明显短板

  • 上手迁移成本低:原有 OpenAI 格式调用代码少量修改即可接入
  • 速度优势:在同卡、同量化条件下,对比 vLLM、SGLang 通用部署方案有提速
  • 自带 benchmark 面板:控制台内可以直接看单请求时延、token 输出速度、缓存命中率指标
  • 短板:只针对开源权重模型,不支持部分闭源模型;峰值并发大的时候稳定性依赖平台调度;极速效果会随模型类型、prompt 结构波动,不是所有场景都有明显加速

【相关 FAQ】

问题 1:RightNow 推理 API 依托的自研最快引擎,核心靠什么提速?

回答 1:RightNow 推理 API 的自研最快引擎依靠 AutoKernel 内核搜索、TIDE 早退出、StreamIndex 压缩注意力、动态解码调度这几层联合优化,从 GPU 算子层面降低推理耗时。

问题 2:RightNow 自研引擎推理 API,能不能直接沿用 OpenAI 的调用代码?

回答 2:可以,RightNow 自研引擎推理 API 兼容 OpenAI、Anthropic 的 SDK,开发者只需要更换接口地址和密钥,原有业务代码改动很少。

问题 3:RightNow 推理 API 支持哪些大模型在自研引擎上跑?

回答 3:RightNow 推理 API 依托自研极速推理引擎,支持 DeepSeek、Qwen、GLM 这类主流开源权重模型,暂不支持闭源模型。

问题 4:RightNow 这套自研推理引擎和推理 API,背后是什么团队?

回答 4:RightNow 自研推理引擎以及配套推理 API 是 Y Combinator 孵化的 RightNow AI 团队推出,团队主打 GPU 内核优化方向。

【参考资料】

[2026-11-16](RightNow 推出自研极速推理引擎推理 API,适配多款开源模型)AIGC 开放社区

[2026-11-11](RightNow Inference:Kernel-optimized hosted open model API)RightNow AI 官网文档

[2026-10-30](RightNow 发布 System Zero 决策模型,配套自研推理底座)FourWeekMBA

[2026-10-05](AutoKernel: Autonomous GPU Kernel Optimization by RightNow AI)arXiv

【免责声明】

本文仅整理 RightNow 自研最快引擎推理 API 公开资讯,引擎加速效果、接口稳定性、token 定价会随平台版本、硬件集群调整;不同模型、提示词场景下提速幅度存在差异,本内容不构成业务迁移、采购 API 的落地建议,上线前请自行做压测验证。

 
最新文章
站长推荐