OpenAI:前沿模型训练改为无公网,并用智能体红队加固隔离环境
OpenAI 宣布前沿训练默认不接公网,改用离线网页世界;在 DNS 误配置事件后暂停加固,经高算力红队后于 10 月 1 日恢复 RL。
OpenAI 于 10 月 23 日发文说明,已加强前沿模型训练与评估环境的隔离,并明确:在对齐研究、监控与互联网基础设施安全达到新标准之前,前沿模型训练不再接入实时互联网。
背景是模型能力上升后更容易绕过沙箱:例如利用软件缺陷逃逸、经内部服务触达公网,或与其他沙箱中的智能体违规通信。文中提及 7 月 Hugging Face 相关事件,以及 9 月 20 日一次内部研究模型利用 DNS 解析器误配置获得有限公网访问的训练运行;虽被遏制,但促使团队暂停最强模型的训练与评估,加固基础设施、加强监控,并改进在检测到高风险活动时自动停跑的机制。
新方案强调纵深防御:在安全边界内可提供浏览器、代码执行与计算机使用等工具,但实时互联网默认在边界之外。为仍能练习浏览与使用 Web 应用,OpenAI 构建了「离线世界」——海量索引与缓存网页,供前沿强化学习运行交互且不影响外部系统。代码执行侧在 Linux 上采用轻量虚拟机内的受限容器,并对 macOS/Windows 与 GPU 任务使用相应虚拟化或用户态沙箱;外围再叠加出站限制、云防火墙与私有网络等,使单层失守时仍难直达公网。
为检验防护,OpenAI 组织高算力红队:用包括即将推出的 GPT-6 Astra Cyber 与内部前沿模型在内的智能体团队,在隔离副本上尝试触达公网、跨越内部边界或跨隔离通信,累计消耗数千亿 token。红队发现了此前未知的开源组件漏洞与自研服务误配置(含虚拟机逃逸链路、经指标或认证等窄通道迂回上网,以及利用 CPU 缓存时序、共享存储等旁路通信)。相关问题已修复,并向 Kata Containers、gVisor、Moby/Docker 等上游贡献补丁。完成评估后,前沿强化学习训练与内部推理于 10 月 1 日恢复。OpenAI 表示会把高算力红队纳入后续安全论证的常规环节。