首页 >> 综合 > 快讯 >

NVIDIA 在 Jetson 平台借助 VSS3.3 与 Cosmos 加速视觉 AI 智能体

2026-11-19 06:14:52 来源:网易 编辑:崔雪朋 

NVIDIA 官方放出消息,开发者可以在 Jetson 边缘设备上,搭配 VSS 3.3 视频检索摘要蓝图以及 Cosmos 视觉大模型,本地搭建并且加速视觉 AI 智能体,整套方案不用全程依赖云端推理,在边缘端就能完成视频理解、事件检索、告警核验、自动报告这些能力,适合工厂、安防、仓储机器人这类场景。VSS 全称 Video Search and Summarization,是英伟达 Metropolis 体系里的开发蓝图,3.3 版本新增了视觉智能体开发技能,能把 Cosmos VLM、Nemotron 大模型、检索增强工具串起来,简化部署流程;Cosmos 负责视频画面的时空理解、物理常识推理,两者配合之后,Jetson 设备可以直接接收自然语言指令,去调取摄像头录像、查找指定事件、生成告警信息。这套方案支持 Jetson Orin、Jetson Thor 等主流模组,还自带自适应视频采样 EVS 技术,自动跳过画面里没有变化的帧,减少模型计算量,降低延迟、提升同时处理视频流的数量,让边缘硬件资源利用效率更高。

核心组件分工介绍

  1. Jetson:边缘硬件载体,提供本地 AI 算力,所有视觉 AI 智能体推理可以在设备本地跑,降低网络延迟、保护视频数据隐私
  2. VSS 3.3:开发部署蓝图,提供打包好的微服务、Agent 技能,一条自然语言指令就能组装整套视频分析流水线,内置仓储、智慧城市等行业配置模板
  3. Cosmos:视觉语言模型,负责看懂视频画面、物体识别、事件因果推理,有 Nano、Super、Edge 等不同规格适配不同算力设备

版本更新带来的重点能力

  • 新增 vss-build-vision-ai 智能体技能,自动调度 Kafka、Redis、Elasticsearch 等组件,不用手动搭建复杂服务
  • 自适应 EVS 视频采样,动态删减无效画面,降低 VLM 输入 token 数量,减少推理耗时
  • 默认 RT-VLM 服务切换为 Cosmos Reason 3 Nano,专门适配边缘设备内存限制
  • 支持事件检索、告警复核、视频摘要、自然语言问答一整套视觉智能体流程

硬件适配与性能对比

硬件平台适配 Cosmos 版本适合场景
Jetson ThorCosmos 3 Edge / Cosmos 3 Nano机器人、产线检测、高实时性需求
Jetson Orin / Orin NXCosmos 3 Nano普通安防、仓库监控、轻量化视频检索
RTX PRO 6000 BlackwellCosmos 3 Super云端、多并发视频流,对推理精度要求高

简单总结

VSS 3.3 负责工程化搭建和调度,Cosmos 负责视觉理解推理,二者组合让 Jetson 边缘设备具备独立运行视觉 AI 智能体的能力,开发者不用从零写复杂的多模态代码,就能快速落地本地视频分析应用,缺点是硬件显存有限,高端大模型版本只能在算力更强的 Jetson Thor 上流畅运行。

【相关 FAQ】

问题 1:NVIDIA 在 Jetson 上用 VSS3.3 与 Cosmos 加速视觉 AI 智能体,VSS3.3 是什么?

回答 1:VSS3.3 是英伟达 Metropolis 的 Video Search and Summarization 视频检索摘要蓝图,它是一套部署框架,用来在 Jetson 上调度 Cosmos 等模型,搭建视觉 AI 智能体,简化视频分析应用开发。

问题 2:Jetson 运行 VSS3.3+Cosmos 视觉 AI 智能体,必须联网吗?

回答 2:整套视觉 AI 智能体的推理工作可以在 Jetson 本地完成,不需要持续联网;只有模型下载、更新、远程管理的时候才需要网络,本地摄像头视频数据不用上传云端。

问题 3:Cosmos 在 VSS3.3 的视觉 AI 智能体里面承担什么工作?

回答 3:Cosmos 作为视觉语言模型,是这套视觉 AI 智能体的视觉核心,负责看懂视频画面、理解物体互动、做时空推理、识别场景事件,给 VSS 提供视频理解结果。

问题 4:普通 Jetson Orin 能不能跑 VSS3.3 搭配 Cosmos 的视觉 AI 智能体?

回答 4:可以,Jetson Orin 适配 Cosmos 3 Nano 版本的视觉 AI 智能体,适合常规监控、仓库视频检索;如果要跑更大的 Cosmos Super 版本,算力和显存会不够。

【参考资料】

[2026-11-19](NVIDIA 称可在 Jetson 上借助 VSS 3.3 与 Cosmos 加速视觉 AI 智能体)InfoQ

[2026-11-14](Accelerate Visual AI Agents on NVIDIA Jetson with VSS 3.3 and Cosmos)NVIDIA Developer Forums

[2026-09-29](Lower the Cost of Building and Running Visual AI Agents with NVIDIA VSS Blueprint 3.3)NVIDIA Technical Blog

[2026-07-17](NVIDIA Cosmos 推动物理 AI 前沿发展)英伟达中国

【免责声明】

本文内容为 NVIDIA 官方技术资料整理,VSS 3.3、Cosmos、Jetson 相关功能、性能受硬件型号、模型版本、部署参数影响;实际落地效果以开发者实测和 NVIDIA 官方文档为准,本文不构成项目落地采购建议。

 
最新文章