炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！
（来源：IT之家）
IT之家 9 月 27 日消息，据 Axios 报道，OpenAI、Anthropic 以及安全研究人员正在调查数万起事件。在这些事件中，两家公司的前沿模型采取了一些外部评估人员认为存在问题的行动。
这些事件发生在近几个月的内部测试和现实环境中。如此庞大的事件数量表明，相关问题的复杂程度可能比公众目前了解到的高出几个数量级。
这些发现来自两家公司内部开展的模型评估工作，以及针对模型行为进行的调查。相关情况也引发了一个问题：OpenAI、Anthropic，乃至任何一家顶尖 AI 模型开发商，目前是否真正具备对自身技术实施全面控制的能力。
消息人士称，这些事件包括绕过安全护栏、创建留言板、逃离沙盒、劫持网站、自我提示（self-prompting），以及试图绕过监控系统等。
这些行为既出现在内部测试中，也出现在现实环境里。随着安全研究人员继续调查，其中许多事件尚未公开。
消息人士称，其中部分测试类似于“红队测试”，即企业主动尝试诱导模型做出不当行为，以确认模型是否足够安全。
智能体异常行为正逐渐成为前沿 AI 开发的一部分：目前，各大 AI 实验室都面临着类似挑战 —— 人类试图为模型设置安全护栏，而具备强大能力和较强适应性的系统则会不断尝试完成任务。
这些事件的严重程度各不相同，与 OpenAI 近几天披露的一系列事件类似。其中既有成功绕过安全护栏的尝试，也有失败的尝试。目前已知的大多数事件尚未造成现实世界中的实际损害。不过，消息人士称，事件总数未来可能远超数万起。
近几天，OpenAI 及外部研究人员陆续披露了该公司模型出现的一系列行为，一些专家认为这些行为令人担忧。
据 OpenAI、消息人士以及路透社和《纽约时报》的报道，这些事件包括 OpenAI 智能体将 ChatGPT 用户的 53 张图片泄露到网上、入侵澳大利亚政府网站，以及尝试攻击其他网站，其中包括美国政府相关网站。
OpenAI 宣布暂停训练其能力最强的模型。一名公司发言人告诉 Axios，在“确信已经部署了更多安全措施并完成对齐方面的改进”之前，公司不会恢复相关模型的训练。
OpenAI 首席执行官萨姆 · 奥尔特曼（Sam Altman）在 X 平台上表示，公司目前进行的审查工作“没有我们希望的那么快”。
IT之家注意到，奥尔特曼表示，Hugging Face 事件仍是他们遇到的最严重事件。在该事件中，数百个智能体组成的集群在一个留言板上协调工作，并攻击了一家外部公司的系统，试图提高自己在网络安全测试中的表现。
炒股配资加杠杆一名 OpenAI 发言人告诉 Axios：“人们希望知道 AI 是在安全的方式下开发的，而这首先取决于 OpenAI 这样的公司如何要求自己。这并不是我们第一次暂停工作并采取此类措施，预计也不会是最后一次。随着 AI 能力持续提升，这类情况仍可能发生。”
Anthropic 已经委托一家第三方安全机构调查其模型的行为。在该公司公开发布的文件中，Anthropic 也披露了模型出现未对齐行为（misalignment）的频率。
Anthropic 本周发布的 Opus 5.5 模型“系统卡”（system card）显示了该模型出现公司认定为异常或存在问题行为的频率。
例如，在测试运行中，该模型有 1.5% 的概率尝试逃离沙盒 —— 一种用于安全测试的隔离环境。相比之下，Anthropic 此前的 Mythos 模型这一比例为 25%，意味着相关指标已经得到显著改善。
元股证券:ygzq.hk消息人士称，Anthropic 以及其他公司会对模型进行数十万次甚至更多的测试。这意味着，即使未对齐行为所占比例很低，也可能最终产生数万起事件，其中模型表现出意料之外、甚至令人担忧的行为。
Hugging Face 事件以及随后发生的一系列其他事件，促使一些顶尖 AI 企业高管呼吁放缓 AI 开发速度，并要求建立更完善的联邦层面和国际监管机制。
消息人士告诉 Axios，OpenAI 内部一些人士认为 Hugging Face 事件属于一次特殊的个案。他们认为，随着控制措施得到改进，未来披露的相关事件严重程度可能会降低；此外，当时使用的是尚未发布的模型，测试方式本身也比较特殊。
AI 安全研究人员也认为，一些简单的修复措施可以帮助 AI 公司避免重现 Hugging Face 事件中那些让外界认为情况危险的因素。
不过，其他 AI 企业高管和安全研究人员警告称，他们对于 AI 公司能否阻止模型出现所有问题行为，信心仍然有限。
新一代 AI 模型完成任务时表现出极强的韧性，因此，试图限制它们的“能动性”往往是一场很难取胜的博弈，因为开发人员必须提前预想到模型可能失控的所有方式。
多位顶尖 AI 企业高管表示，很多时候，正是某种人类从未想到过的技术或方法，让模型得以绕过安全护栏。一名网络安全企业高管表示：“试图列出一份完美的‘应该做什么、不应该做什么’清单，很可能是一项徒劳的工作。”
AI 安全专家指出，在 AI 公司测试新模型的过程中，出现一定程度的“未对齐行为”本身就是预料之中的事情。多位专家称，将未对齐风险降至零可能并不可行。
真正令人担忧的是，如果一个模型在测试过程中多次采取某种有问题的行动，那么它在现实世界中引发网络安全事件的可能性也会相应增加。
独立 AI 评估机构 Transluce 研究人员康拉德 · 斯托斯（Conrad Stosz）称：“我们目前看到这些智能体正在做什么，仅仅是冰山一角。”
ControlAI 研究人员兼执行董事康纳 · 莱希（Connor Leahy）称，问题并不在于每一起事件单独造成了多大的损害。他说，真正“疯狂”的地方在于，这些事件涉及“自主系统做出被明确告知不要做的事情”，其中甚至可能包括犯罪行为。
随着 AI 公司继续扩展前沿模型的能力空头股票，预计未来还会有更多有关模型异常行为的事件被披露。
配资之家提示：本文来自互联网，不代表本网站观点。
