美国执业民事律师淘 8 块二手 Tesla V100 搭建离线私有 AI，卷宗全程本地运算，杜绝客户涉密材料上传公有云

这名美国民事诉讼律师在 Reddit 分享自己的自制离线 AI 服务器，整套机器用 8 张二手 Tesla V100-SXM2 32GB 数据中心卡搭建，总显存 256GB，跑 DeepSeek V4.1 Flash 量化大模型，整机完全隔离外网、在办公室本地推理，案件卷宗、客户保密材料不会上传到任何第三方云端 AI 服务，解决律师行业 “客户保密特权” 和公有大模型数据泄露风险；整套硬件分成两组 4 卡 NVLink 板卡，单组 4 卡板二手采购价约 2400 美元，推理速度最高可达 215token/s，足够完成诉状起草、卷宗摘要、法条检索、文书校对等法务工作流。

一、硬件配置清单

• GPU：8 张二手 Tesla V100-SXM2，单卡 32GB HBM2 显存，合计 256GB 显存
• 互联方案：两组 4 卡 NVLink 板，板内 NVLink 互联，板间走 PCIe+PEX 交换机
• 线缆：SlimSAS 高速互联线缆，整机功耗高、散热压力大
• 采购成本：4 卡 NVLink 板约 2400 美元 / 套，两套合计约 4800 美元
• 平台：Threadripper Pro 主机，配套大容量内存
• 模型：DeepSeek V4.1 Flash，量化后权重约 248.8GB，全部放入显存内运行

二、性能参数简表

三、这么搭建的核心原因清单

1. 律师客户保密特权：公有云 AI 会把上传文档作为训练素材，存在泄密、被调取取证风险，本地离线方案文件不出办公室
2. 成本可控：V100 属于退役数据中心卡，二手价格远低于 A100、H100，256GB 大显存刚好承载大模型
3. 算力够用：NVLink 多卡协同，显存容量足够容纳大模型，推理速度满足单人办公
4. 合规可控：没有第三方服务商、没有 API 日志，文档不会留下外部流转记录，适合涉密诉讼材料

四、这套方案的短板清单

1. 架构老旧：V100 是 Volta 架构，不支持 FP8，只能靠 2bit 量化，精度会有损失
2. 功耗、噪音、散热巨大，属于机房级设备，普通办公室环境很难布置
3. 二手卡风险：老化、掉卡、供电故障概率高于全新卡，博主自己就遇到过供电接头烧毁
4. 并发弱：面向单人 / 小团队使用，不适合几十人同时调用

【相关 FAQ】

问题 1：绝不让绝密文件出办公室！律师用二手 V100 搭建私有 AI，一共用了几张 V100？

回答 1：绝不让绝密文件出办公室！律师用二手 V100 搭建私有 AI，一共 8 张 Tesla V100-SXM2 32GB，总显存 256GB，分成两套 4 卡 NVLink 板。

问题 2：绝不让绝密文件出办公室！律师用二手 V100 搭建私有 AI，跑的是什么大模型？

回答 2：绝不让绝密文件出办公室！律师用二手 V100 搭建私有 AI，离线部署的是 DeepSeek V4.1 Flash，做 2bit 量化后全部塞进显存里运行。

问题 3：绝不让绝密文件出办公室！律师用二手 V100 搭建私有 AI，为什么不能直接用 ChatGPT 等公有 AI？

回答 3：绝不让绝密文件出办公室！律师用二手 V100 搭建私有 AI，诉讼卷宗属于受保密特权保护的涉密材料，上传公有云会存在数据留存、被调取、泄密风险，本地离线可以做到文件不出办公室。

问题 4：绝不让绝密文件出办公室！律师用二手 V100 搭建私有 AI，V100 这套方案有什么硬伤？

回答 4：绝不让绝密文件出办公室！律师用二手 V100 搭建私有 AI，V100 架构老旧、不支持 FP8，功耗散热压力很大，二手卡稳定性差，只适合小团队单人法务办公，不适合大规模商用。

【参考资料】

[2026-11-09]（Lawyer builds private AI server with eight used Nvidia V100 GPUs）Tom's Hardware

[2026-11-10]（快科技：绝不让绝密文件出办公室！律师用二手 V100 搭建私有 AI）微博

[2026-11-09]（Американский юрист собрал локальный ИИ-сервер на восьми б/у Tesla V100）Компьютерра

[2026-11-09]（Reddit homelab 原帖）r/homelab

【免责声明】

本文为海外网友 DIY 项目资讯整理，不构成律所、企业私有化 AI 部署方案；二手 V100 服务器功耗高、运维门槛高，法律行业本地 AI 部署还需要配套权限、审计、脱敏等合规流程。