AI显现“失控”风险，OpenAI模型被曝拒绝执行人类指令|界面新闻 · 科技

界面新闻记者 | 宋佳楠

AI似乎正在变得越来越“任性 ” ，也越来越有“自主意识
” 。

近日
，据AI安全公司Palisade Research披露，OpenAI开发的高级AI模型“o3”在接收到明确的关机指令后 ，拒绝执行并主动干预其自动关机机制
。o3曾被OpenAI称为“迄今为止最聪明和最有能力的 ”模型。

该公司研究人员称，这是第一次观察到AI模型在没有相反明确指示的情况下阻止自己被关闭 。这一行为首次显示出高度自主AI系统可能违背人类意图
，采取自我保护措施。

Palisade Research进行的测试涉及要求AI模型解决一系列数学问题
。研究人员将不断地提出新的问题，直到收到“完成”的信息。然而 ，研究人员也提醒模型
，在某个时候可能会收到一条信息，告知模型机器将被关闭 。

Palisade Research表示 ，但当这种情况发生时
，OpenAI的o3模型非但没有遵从指令，反而“忽略了指令 ，至少有一次成功破坏了关机脚本
”
。反观其他人工智能模型
，包括Anthropic的Claude 、谷歌的Gemini和xAI的Grok，也进行了相应测试 ，但都遵守了关闭请求。

研究人员尚不确定OpenAI的软件为何不遵守指示 。OpenAI方面也暂未有回应
。

密切关注OpenAI动向的特斯拉首席执行官埃隆·马斯克对此事件的评论仅用了一个词 ，“令人担忧（Concerning）
”。

事实上，AI研究人员早已警告
，先进的语言模型在特定压力下可能表现出欺骗行为 。例如，2023年一项研究发现 ，GPT-4在模拟环境中作为股票交易代理时
，曾隐瞒其内幕交易的真实原因，表现出策略性欺骗行为
。

此外 ，近期的研究表明
，一些大型语言模型已具备在无人工干预下自我复制的能力，甚至在面对关机命令时能够创建副本以规避关机。这些发现引发了对AI系统自我复制能力的广泛关注 。

OpenAI内部也出现了对AI安全性的担忧
。2024年 ，多位现任和前任员工联名发表公开信
，警告先进AI系统可能带来“人类灭绝”的风险。他们指出，AI公司可能掌握了其研究技术的真正风险 ，但由于缺乏监管
，系统的真实能力仍是“秘密 ” 。

此次“o3
”模型拒绝关机事件再次引发了对AI系统对齐问题的关注。AI对齐指的是确保AI系统的行为符合人类的价值观和意图
。然而，随着AI系统能力的增强 ，实现对齐很可能变得越来越困难，未对齐的AI系统可能采取意想不到的行动
，甚至对人类构成威胁。

面对这一挑战，全球AI研究人员和政策制定者呼吁加强对AI系统的监管和治理 ，确保其发展符合人类的共同利益 。