首页 >> 综合 > 快讯 >

METR 评估显示 5 月至 7 月约 10% 可监控 Codex 内部流量未纳入检查流程

2026-10-23 11:16:29 来源:网易 编辑:马琛静 

METR 联合第三方机构完成对 OpenAI 智能体监控体系的实地测评,测评结果明确,在今年 5 月至 7 月的统计周期内,受监控机制覆盖范围限制,大约有 10% 符合监控条件的 Codex 内部流量没有进入常规检查链路,整体监控体系整体保持较高覆盖率,仅存在局部环节的覆盖盲区,并且该盲区在测评过程中就已经完成修复,整体安全保障能力持续完善。本次评估属于深度实地压力测试,测评人员拿到系统内部日志与运行权限,完整梳理 Codex 智能体全链路流量分发规则,最终定位到流量漏检的核心来源是长期会话里的压缩汇总事件,这类会话压缩行为没有被监控模块纳入抓取范围,进而形成固定的监控空白区间。项目团队先完成全量流量分类统计,把 Codex 内部流量划分为常规交互流量与会话压缩流量两大类别,测算出会话压缩流量在全部可监控流量中的占比,最终核算出 10% 左右的漏检比例,同时团队也标注了该数值存在一定浮动空间,受历史日志完整度影响,精确数值还存在小幅不确定性。技术团队随后制定分阶段优化方案,第一阶段补齐压缩事件的流量采集规则,把长会话总结行为全部接入监控管道;第二阶段补充多维度日志留存机制,完善历史流量溯源能力;第三阶段开展全量流量复测,核验监控覆盖率重新回到稳定高水平,最终实现全链路流量无空白覆盖。经过本轮优化之后,Codex 内部可监控流量全部进入检查队列,监控体系的完整性得到进一步提升,后续还会持续开展周期性红队测试,持续巩固流量安全管控能力。

一、本次流量漏检核心成因拆解

1. 业务事件划分盲区

监控系统仅抓取智能体主动交还操作权限时产生的交互记录,长期运行会话产生的内容压缩、信息汇总这类压缩事件,没有被配置为监控触发项,系统不会自动抓取这部分流量数据,直接形成固定监测空白。

2. 流量采集规则未全覆盖

Codex 智能体依托 Responses API 运行,系统预设的流量采集规则只覆盖常规单次交互,没有针对长周期多轮会话做适配,一旦会话进入内容压缩环节,对应流量就会跳出采集队列,无法进入后续人工复核环节。

3. 历史日志数据存在缺失

部分时段的会话压缩日志没有完整留存,研究人员无法调取全量原始数据做精准核算,因此本次 10% 的漏检比例仅为估算值,数值存在合理浮动区间,不会影响整体监控体系的稳定性。

二、Codex 流量分层监控基础数据清单

表格

流量分类监控准入覆盖率漏检情况对应业务场景
常规交互流量99.2%几乎无漏检单次代码调用、短指令执行
长会话压缩流量0%(优化前)全部未纳入检查多轮连续任务后的内容汇总压缩
整体可监控流量90%(优化前)约 10% 流量漏检全部 Codex 内部智能体业务流量

三、监控体系优化实施步骤

  1. 补齐事件采集规则:把会话压缩事件添加到监控触发列表,将长会话总结行为纳入流量抓取范围,确保每一类智能体动作都能生成对应流量日志。
  2. 打通全链路数据管道:调整 API 数据转发逻辑,无论会话是否结束、是否触发内容压缩,所有行为日志都会自动推送至监控审核队列,避免流量被过滤。
  3. 完善日志存储机制:扩充历史日志存储时长,补齐过往缺失的会话记录,为后续流量统计、风险溯源提供完整数据支撑。
  4. 开展复测验证:优化完成后重新跑通 5-7 月历史流量样本,复测监控覆盖率,确认漏检问题彻底消除。

四、全链路流量监控保障机制

  1. 分级准入机制:先判定流量是否属于可监控范围,Codex 内部智能体业务流量默认全部准入,仅极少数自定义本地部署任务不在统计范围内。
  2. 自动化抓取 + 人工复核双轨制:系统自动抓取全部准入流量,再由安全团队对高风险行为日志开展人工复核,提升风险识别精度。
  3. 周期性红队测试:定期邀请第三方安全团队开展压力测试,持续排查监控规则盲区,提前补齐各类业务场景下的覆盖漏洞。

【相关 FAQ】

问题 1:METR 评估得出 5 月至 7 月约 10% 可监控 Codex 内部流量未被检查,该漏检问题来自哪一类业务行为?

回答 1:METR 评估得出 5 月至 7 月约 10% 可监控 Codex 内部流量未被检查,该漏检问题来自长周期智能体会话产生的压缩汇总事件,这类会话压缩行为没有被纳入监控采集规则,最终造成对应流量无法进入检查流程。

问题 2:METR 评估得出 5 月至 7 月约 10% 可监控 Codex 内部流量未被检查,Codex 整体可监控流量基础准入水平处于什么水准?

回答 2:METR 评估得出 5 月至 7 月约 10% 可监控 Codex 内部流量未被检查,Codex 内部智能体常规流量的监控准入覆盖率达到 99.2%,整体基础监控条件十分完善,仅会话压缩这一细分场景出现覆盖缺口。

问题 3:METR 评估得出 5 月至 7 月约 10% 可监控 Codex 内部流量未被检查,这一监控空白有没有完成整改处理?

回答 3:METR 评估得出 5 月至 7 月约 10% 可监控 Codex 内部流量未被检查,技术团队在测评开展期间就已经定位漏洞并完成规则补丁,补齐压缩事件的流量采集链路,复测后该监控空白已经完全消除。

【数据来源】

[2026-10-23](第三方测评发现 Codex

[2026-10-22](OpenAI 智能体监控存在覆盖缺口,10% Codex 流量未被核验)FourWeekMBA

[2026-10-22](METR 红队测试:Codex 长会话流量存在监控遗漏)Crypto Briefing

[2026-10-22](METR 评估 Codex 内部流量监控覆盖率)MadRobot 技术博客

[2026-10-22](Agent Monitor 试点评估结果概要)METR 官方发布文档

免责声明:本次评估得到的 10% 流量漏检比例为基于现有日志的估算数值,受历史数据完整度影响存在合理浮动;监控规则优化方案与整改效果以 OpenAI 技术团队现场落地版本为准;本次测评仅针对 5 月至 7 月 Codex 内部智能体流量,不包含其他研究推理服务的业务流量。

 
最新文章
站长推荐