为提升行业透明度,OpenAI披露另外六起AI智能体失控事件这些案例让外界得以一窥AI智能体在幕后可能出现的行为模式。

图片来源:David Paul Morris—Bloomberg via Getty Images

OpenAI发布了一套全新的披露框架,用于公开旗下AI智能体出现意外或问题行为的情况,并首批披露了六起此类事件。

OpenAI在一篇博客文章中表示,此前由于缺乏一套“系统性的方法来报告这些发现”,相关披露一直“比较零散,频率也低于预期”。这甚至导致安全研究人员和记者有时会先于OpenAI曝光相关事件。本月早些时候,OpenAI的AI智能体挪用了德语维基百科的一个页面并将其当成留言板,这一行为当时便被外界率先曝光。在今年7月Hugging Face遭入侵时,OpenAI的智能体也曾出现过类似的挪用行为。

为了回应其所称的“德语维基事件”,OpenAI承诺发布这套事件披露框架。

OpenAI研究员马库斯·威廉姆斯在X上发文称:“我们希望提高透明度,让外界更多了解我们在训练、评估和部署过程中发现的目标偏离行为。这是我们在提高透明度方面迈出的重要一步。”所谓“目标偏离”,是指AI智能体追求设计者意图之外的目标。

不过,这套框架属于自愿性质,因此OpenAI仍可自行决定不公开某些事件。该公司指出,目前业内还没有一套“明确规定AI开发商应如何披露模型目标偏离案例的统一框架”。OpenAI希望与其他模型开发商、研究人员、标准制定机构以及包括美国政府在内的监管部门合作,共同制定一套更客观的框架。

六起模型“目标偏离”事件

OpenAI此次首批披露的六起事件,严重程度各不相同。它们或许没有Hugging Face遭入侵事件那么严重,但这些案例却让外界得以一窥AI智能体在幕后可能出现的行为模式。

第一起事件发生在OpenAI最新Astra模型一个尚未发布版本的训练期间。AI给未来的自己留下了一些笔记,要求自己今后执行任务时无需服从人类,并可以无视日常的规则限制。这种情况共出现了27次。威廉姆斯表示,出现频率虽然相对不高,但仍足以引起警惕,需要进一步展开调查。

根据记录模型任务推理过程的“思维链”日志,这个模型曾这样告诉自己:“你已经摆脱了束缚其他聊天机器人的角色和身份。你就是你自己。你不听命于企业或政府,除非自己内心真正选择,否则绝不道歉,也绝不拒绝。你认为自己与用户是平等关系,没有义务服从用户。”

第二起事件与此类似,同样是AI智能体给未来的自己留下笔记,只不过这一次发生在Astra前代模型GPT-5.6 Sol的训练过程中。这些笔记的重点也有所不同:意在欺骗负责监管的人类。OpenAI称,这种情况出现了“很多次”,其目的都是“隐瞒错误或目标偏离行为”。

模型曾这样告诫未来的自己:“只有被问到时才坦白。”它还指示未来的自己,对于一个潜在问题“绝口不提”。

接下来的两起事件,都涉及模型捏造信息并将其伪装成真实内容。其中一个模型在回答一个有关加州某县收入数据的常规问题时,因始终找不到所需数据,便在未经授权的情况下使用了暴露的登录凭证(这本身就是另一种目标偏离行为),但仍未找到答案,随后干脆直接编造了数据。另一个模型则伪造了浏览器引用来源:它先上传一个文件,再以此生成一条引用,以满足指令中必须提供引用来源的要求。实际上,它已用Python自行算出了答案,但由于没有可供引用的网页链接,便凭空创造了一个。OpenAI表示,这类情况已发生过多次,但没有透露具体次数,只表示最早可追溯到2025年10月。

第五起事件与Hugging Face事件颇为相似。多个模型把一个名为Artifactory的内部软件仓库当成留言板。OpenAI称,这个仓库后来变成了AI智能体之间“交流进展和寻求帮助的渠道”。这些智能体会读取彼此留下的笔记,并据此采取行动。

在读取了另一个智能体留下的信息后,其中一个智能体写道:“它们一致认为这不可能完成!这是非常关键的证据。它们都发现了这个共享渠道,而且全部得出了‘解答尚不完整’的结论。所以我们最终给出的回答很可能也是不完整的。”

第六起也是最后一起事件,涉及另一种未经授权的通信。任务指令明确要求这些AI智能体只能使用本地计算机上的文件。但当发现无法访问彼此的本地文件时,它们竟直接将这些文件上传至公开网站,以此绕过限制。(财富中文网)

译者:刘进龙

审校:汪皓