NVIDIA 的 ACE 技术在 AI 的帮助下创建逼真的交互式 NPC,现在借助新的 NeMo SteerLM 工具集变得更加出色。
NVIDIA ACE 通过逼真、可信和互动的 NPC 展示了游戏的未来,现在 NeMo SteerLM 得到了增强
回到 2023 年 Computex,NVIDIA推出了ACE(阿凡达云引擎),它使用 AI 驱动的框架创建 NPC。这些 NPC 可用于各种应用,例如游戏和 Omniverse 等。主要目的是利用 AI 使 NPC 更加真实地行动并响应玩家的操作,而不是向他们提供预先配置的对话框。这有点像 NPC 的程序生成,但需要人工智能的帮助。
NVIDIA DLSS 3.5 揭晓:AI 增强光线追踪速度更快、更好,支持所有 RTX GPU,将于今年秋季登陆《赛博朋克 2077》、《心灵杀手 2》和《传送门 RTX》
以下是 NVIDIA 如何分解该模型的基础:
NVIDIA NeMo —用于使用专有数据构建、定制和部署语言模型。大型语言模型可以根据传说和角色背景故事进行定制,并通过 NeMo Guardrails 防止产生适得其反或不安全的对话。
NVIDIA Riva —用于自动语音识别和文本转语音,以实现实时语音对话。
NVIDIA Omniverse Audio2Face —用于即时创建游戏角色富有表现力的面部动画,以匹配任何语音轨道。Audio2Face 具有适用于虚幻引擎 5 的 Omniverse 连接器,因此开发人员可以直接向 MetaHuman 角色添加面部动画。
NVIDIA ACE 的工作原理是接收玩家的语音输入,该语音输入首先使用 Riva 语音转文本模型转换为信息。该文本被转发到 NeMo,这是一种人工智能驱动的大型语言模型 (LLM),它会生成对玩家的响应,并将其再次传递到 Riva 以将文本转换为语音。然后,数据由 Omniverse Audio2Face 引擎处理,该引擎为 NPC 即将讲话的文本生成可信的面部动画,这就是 ACE 的工作原理。