一条命令完成部署 DGX Spark 搭载 NemoClaw+vLLM 打造本地 AI 助理全流程实操

结合 NVIDIA 官方部署文档可以明确，只需要执行一条一键安装命令，就能在 DGX Spark 设备上完成 NemoClaw 环境部署，自动拉起 vLLM 本地推理服务，快速搭建专属本地 AI 助理；整套方案依托 OpenShell 沙箱运行环境实现安全隔离，先完成硬件环境预检、Docker 运行时配置，再执行单行安装脚本，脚本会自动补齐 Node.js 依赖、拉取 vLLM 容器镜像、自动下载大模型权重，最后生成独立沙箱并启动 Web 交互界面，全程无需手动分步配置依赖，完成部署后即可在本地离线调用大模型，实现不依赖公网 API 的 AI 助手能力，同时依托 DGX Spark 的统一内存硬件，保障 vLLM 推理吞吐与响应速度稳定高效。

一、部署前置硬件与软件环境准备

1. 硬件基础清单

表格

2. 预装软件预检清单

1）操作系统：DGX OS Linux ARM64 版本，内核版本匹配容器运行要求；

2）容器组件：Docker 已安装，NVIDIA Container Toolkit 完成 runtime 注册，GPU 容器调度正常；

3）依赖环境：CUDA 13.0 工具包、Python3.12、Git 工具全部就绪；

4）权限配置：当前用户加入 docker 用户组，执行容器命令无需添加 sudo；

5）端口预留：关闭 8000 端口占用进程，该端口作为 vLLM 推理服务默认端口。

3. 前置环境配置步骤

1）配置 Docker GPU 运行时，执行命令注册 NVIDIA 容器运行环境：

sudo nvidia-ctk runtime configure --runtime=docker

2）修改 Docker cgroup 配置为 host 模式，适配 DGX Spark 容器资源调度；

3）导出 Hugging Face 环境令牌（仅用于下载闭源模型）：export HF_TOKEN=你的访问令牌；

4）执行端口检测命令，确认 8000 端口处于空闲状态。

二、单行命令一键部署完整实操流程

1. 核心一键安装主命令

在终端直接执行这条脚本，自动完成全套环境搭建：

curl -fsSL https://www.nvidia.com/nemoclaw.sh | bash

如果需要关闭匿名数据采集，提前执行环境变量命令：

export NEMOCLAW_DISABLE_TELEMETRY=1

2. 脚本自动执行的全流程拆解

1）依赖自动补全：脚本自动检测系统 Node.js 版本，自动安装 Node.js 22.16 及以上稳定版本，补齐 CLI 运行依赖；

2）OpenShell 沙箱安装：自动拉取安全隔离运行环境，创建具备 Landlock+seccomp+netns 多重防护的独立沙箱，保障 AI 助手运行安全；

3）vLLM 服务自动部署：自动拉取适配 DGX Spark ARM64 架构的 vLLM 容器镜像，自动选择匹配硬件的服务配置文件；

4）模型自动拉取：根据硬件内存自动匹配推荐模型，自动下载 Nemotron 系列大模型权重到本地缓存目录；

5）沙箱向导初始化：弹出交互式配置面板，完成沙箱命名、本地推理模式开启、网络策略配置，一键确认完成 express 快速安装。

3. 交互式向导配置参数（推荐默认快速安装）

1）沙箱名称：自定义唯一名称，例如 local-ai-assistant；

2）推理模式：选择【Managed vLLM with automatic serving-profile selection】本地推理方案；

3）模型选择：保持系统自动匹配的 Nemotron-3-Nano 模型，适配 128GB 统一内存；

4）网络策略：选择 Balanced 均衡安全策略；

5）扩展能力：初次部署可关闭 Brave 搜索与消息机器人通道，仅保留 WebUI 本地交互；

6）确认配置：输入 Y 确认，系统自动拉起 vLLM 容器与 NemoClaw 代理服务。

三、部署完成后的服务验证与功能测试

1. 服务状态校验步骤

1）查看容器运行状态：执行docker ps，确认 nemoclaw-vllm 容器正常运行，端口绑定至 8000；

2）测试 vLLM 推理接口：调用 OpenAI 兼容接口，向localhost:8000发送对话请求，验证本地大模型正常返回文本；

3）进入 NemoClaw 沙箱：执行nemoclaw sandbox enter 沙箱名称，进入隔离环境测试 AI 助手交互；

4）打开 Web 交互界面：在本地浏览器访问服务地址，直接与本地 AI 助理发起多轮对话。

2. 核心功能验证清单

1）离线对话能力：断开外网，依然可以在沙箱内调用本地 vLLM 模型完成问答、代码编写、文本总结；

2）工具调用能力：开启 OpenClaw 智能体能力，本地 AI 助理可以调用终端工具完成文件读取、脚本执行；

3）吞吐性能测试：依托 DGX Spark 统一内存，vLLM 开启 PagedAttention 缓存，多轮并发对话保持稳定低延迟；

4）安全隔离验证：沙箱具备严格网络隔离，AI 助手无法随意访问主机系统文件与外部网络。

四、自定义优化与运维管理方案

1. 模型自定义替换方案

1）修改模型配置：执行nemoclaw onboard重新进入配置向导，手动选择其他开源大模型；

2）手动加载模型：提前把模型文件放入～/.cache/huggingface 缓存目录，vLLM 容器会自动读取本地权重，无需重复下载；

3）显存优化配置：在 vLLM 启动参数中设置 max_num_batched_tokens，适配当前 GPU 内存占用，避免内存溢出。

2. 日常运维常用命令清单

表格

3. 多节点扩展方案

单台 DGX Spark 部署完成后，可以通过 QSFP 高速链路对接第二台 DGX Spark，依托 Ray 框架开启 vLLM 分布式推理，实现大模型张量并行，进一步支持更大参数量模型本地运行，满足多任务并发推理需求。

五、整套部署方案的技术优势

1）极简部署效率：仅依靠一条 Shell 命令完成全栈部署，自动补齐所有依赖，省去手动配置容器、编译 vLLM、配置模型的大量操作；

2）本地离线运行：所有大模型权重全部保存在 DGX Spark 本地磁盘，vLLM 推理全程在内网完成，不需要调用云端 API，数据完全不出本地设备；

3）高安全运行环境：NemoClaw 依托 OpenShell 沙箱实现网络、文件、进程三重隔离，AI 智能体运行严格受控，规避外部访问风险；

4）硬件深度适配：vLLM 容器针对 DGX Spark 的 Grace-Blackwell 架构做了专项优化，充分利用 128GB 统一内存，PagedAttention 缓存效率大幅提升，推理吞吐表现优异；

5）灵活扩展能力：既可以单设备运行独立 AI 助理，也可以横向扩展为双机集群，支持更大规模模型与多并发任务。

【相关 FAQ】

问题 1：在 DGX Spark 设备上，使用 NemoClaw+vLLM 搭建本地 AI 助理，只需要执行几条核心命令？

回答 1：整套部署仅需要执行一条一键安装脚本命令，脚本会自动完成 Node.js 安装、OpenShell 沙箱搭建、vLLM 容器拉取、模型下载与服务启动，后续只需要在交互式向导中确认配置即可，无需多条分步指令。

问题 2：DGX Spark 部署 NemoClaw+vLLM 本地 AI 助理，vLLM 服务默认占用哪个端口？端口被占用该如何处理？

回答 2：vLLM 推理服务默认占用 8000 端口；如果端口被其他进程占用，可以先关闭占用进程，也可以在 NemoClaw 配置向导里修改 NEMOCLAW_VLLM_PORT 环境变量，更换为其他空闲端口，再重新启动推理容器。

问题 3：NemoClaw 搭配 vLLM 在 DGX Spark 运行本地 AI 助理，是否可以做到完全离线使用？

回答 3：可以实现纯离线运行；仅在首次部署拉取容器镜像与模型权重时需要联网，下载完成之后断开外网，vLLM 会直接读取本地缓存模型，NemoClaw 沙箱内的 AI 助理依然可以正常完成对话、工具调用等全部功能，数据全程本地闭环。

问题 4：DGX Spark 部署 NemoClaw+vLLM 本地 AI 助理，沙箱环境具备哪些安全防护能力？

回答 4：NemoClaw 依托 OpenShell 构建沙箱，搭载 Landlock 文件访问控制、seccomp 系统调用限制、netns 独立网络命名空间三重防护，AI 助手被严格限制在独立隔离环境中，无法随意读取主机文件、访问外部网络，保障本地智能体运行安全可控。

问题 5：DGX Spark 上 NemoClaw+vLLM 本地 AI 助理部署完成后，如何更换本地运行的大模型？

回答 5：直接执行 nemoclaw onboard 命令重新打开配置向导，在推理模型选项里手动选择其他模型；也可以提前把模型权重放到～/.cache/huggingface 本地缓存目录，vLLM 服务会自动读取本地模型文件，无需重复联网下载。

【参考资料】

[2026-10-22] 使用本地大模型运行 NemoClaw | DGX Spark NVIDIA 开发者

[2026-09-14] Serve LLMs with vLLM | DGX Spark NVIDIA 技术文档

[2026-06-30] NemoClaw 一键部署脚本使用指南 NVIDIA 开发者社区

[2026-04-17] 基于 NemoClaw+OpenShell 搭建安全本地 AI 智能体 NVIDIA 技术博客

[2026-03-08] DGX Spark vLLM 容器化部署最佳实践 NGC 官方文档

免责声明

本文所有部署命令、配置参数、容器镜像信息均来自 NVIDIA NemoClaw 与 vLLM 官方公开文档；DGX Spark 硬件适配、模型加载速度、推理吞吐性能会受 GPU 内存大小、磁盘读写速度、模型参数量影响；离线运行前提是提前完成容器镜像与模型权重的本地缓存；沙箱安全策略、端口配置、容器运行参数可以根据自身业务需求自定义调整；所有操作仅适用于 DGX Spark ARM64 硬件平台，其他硬件设备需要对应修改镜像与配置文件。