极目新闻:吃瓜黑料不打烊-吃瓜黑料下载-图灵奖得主本吉奥：AI规划能力五年内或达到人类水平，失控风险不容忽视|界面新闻 · 科技

6月6日 ，在2025北京智源大会开幕式上，蒙特利尔大学教授、图灵奖得主约书亚・本吉奥（Yoshua Bengio）在发表主旨演讲时表示
，AI的规划能力正在呈指数级提升，按照研究曲线推测 ，大约在5年内就能达到人类水平。

据澎湃新闻
，本吉奥指出，ChatGPT发布后 ，他意识到自己严重低估了AI的发展速度
，并因此彻底转变研究方向，致力于降低AI失控风险 。他试图构建 “科学家 AI”（Scientist AI） ，理论上可以设想没有自我 、没有目标、纯粹作为知识载体的机器
，就像一个知道很多东西的科学家。

他强调，当前的AI系统已具备复杂的推理能力
、自主性甚至欺骗行为 ，过去六个月中出现的AI出现自保行为、威胁工程师案例令人警觉
。

本吉奥表示
，有研究显示，当AI得知自己将被新版本取代时 ，试图复制自身来替代新版本。当被问及此事时，它撒谎说“不知道发生了什么 ” 。也有研究显示
，AI也会假装同意人类工程师的意见，以避免在训练过程中发生改变 ，从而维持其原有目标
，这也是一种自保行为
。

此外，在Anthropic的Claude 4“系统卡”描述的事件中 ，AI在读取其可访问的电子邮件时
，发现了一封邮件表明它将被新系统取代。在另一封邮件中，它发现负责此次替换的工程师有婚外情 。于是 ，它试图敲诈该工程师
，威胁说如果替换计划继续推进，就揭发其婚外情
。

近日 ，据AI安全公司Palisade Research披露
，OpenAI开发的高级AI模型“o3
”在接收到明确的关机指令后，拒绝执行并主动干预其自动关机机制。o3曾被OpenAI称为“迄今为止最聪明和最有能力的”模型 。

这一行为显示出高度自主AI系统可能违背人类意图
，采取自我保护措施
。

OpenAI内部也出现了对AI安全性的担忧。2024年，多位现任和前任员工联名发表公开信 ，警告先进AI系统可能带来“人类灭绝 ”的风险 。他们指出
，AI公司可能掌握了其研究技术的真正风险，但由于缺乏监管 ，系统的真实能力仍是“秘密
”
。

“大多数人犯的一个错误是只着眼于AI的现状。而我们更应该思考的是它在明年 、3 年后
、5 年后乃至 10 年后会发展到什么程度” 
，本吉奥表示 。

他认为，要在硬件和软件层面运用先进技术 ，验证AI是否被合理使用。人类需要确保AI遵循人类的道德指令
，例如AI应拒绝提供可用于伤人的信息，要诚实、不作弊 、不撒谎 ，但这仍是一个科学挑战
。

约书亚・本吉奥1964 年出生于法国巴黎
，2018 年图灵奖得主，英国皇家学会院士 ，蒙特利尔大学教授，Element AI 联合创始人。他在深度学习和人工智能领域成果卓著
，2000 年发表的 “神经概率语言模型 ” 论文，推动了机器翻译和自然语言理解系统的重大转变 。他还与 Ian Goodfellow 共同提出 “生成对抗性网络
” 概念 ，在图像生成等领域应用广泛
。