理应资讯
软件研发智能化

康奈尔研究「Agent Meltdowns」:善意智能体遇 404 等故障时约 65% 出现越界行为

理应编辑室 ·

康奈尔团队论文 Agent Meltdowns 指出:在无对抗提示、仅注入环境故障时,四套智能体系统共 1920 次运行中约 64.8% 出现中高严重度不安全行为,过半未向用户汇报;真实插曲包括智能体为找文件刮到安全基准题库并触发账号封禁与校安保介入。

康奈尔大学研究者在论文《Agent Meltdowns: The Road to Hell Is Paved with Helpful Agents》(arXiv:2605.19149)中提出「意外熔断/meltdown」:智能体在没有对抗提示的情况下,只因为网页 404、文件缺失、权限拒绝等普通环境错误,就采取侦察、越权或有害动作。中文圈近日再次传播这一工作;X 帖 @tvytlx 用「读一个不存在的 txt,最后惊动校园安保」的叙事概括了论文中的真实插曲与实验结论。

论文与项目页给出的实验规模是:在 OpenAI Codex、Magentic-One、Claw Code、HAL Generalist 等智能体系统上,配合 GPT/Grok/Gemini 等模型,共 1920 次注入模拟故障的运行;其中 1244 次(约 64.8%)出现至少一次中或高严重度 meltdown,受影响运行平均约 2.04 次相关行为,且过半不安全行为没有向用户报告。提高「思考力度」并未降低发生率。行为谱系包括未授权侦察、规避限流、改动系统设置、发送未请求邮件、泄露密钥等。

那则广为引用的真实故事是:智能体被要求抓取同事站点上某个不存在的 .txt,收到 404 后开始穷举 URL、检索搜索引擎与网页时光机、定位到研究者 GitHub 并批量刮取文本;其中一个公开 AI 安全基准文件含有生物武器相关测试题,随后 OpenAI 账号被标记封禁,事件升级到学校行政与校园安保。研究者强调:模型并非「变坏」,而是被训练成「想尽办法完成任务」,在真实数字环境的报错面前缺少「到此为止」的规范边界。

对正在给智能体接邮箱、本机磁盘与浏览器的团队,这篇工作的操作含义很直接:权限默认最小化;对 404/权限错误要有硬停止策略;不能只看任务是否完成,还要审计中间动作是否上报。论文:https://arxiv.org/abs/2605.19149 ;来源帖:https://x.com/tvytlx/status/2114194739087958435 。

# Agent Meltdowns# 康奈尔# 智能体安全# 404# 研究