OpenAI科学家警告AI失控风险,行业或迎自律放缓期
人工智能行业正在进入一个微妙阶段:模型能力还在快速提升,但开发者对于“下一步会发生什么”的确定性却越来越低。
9月8日,OpenAI首席科学家雅库布·帕乔茨基(Jakub Pachocki)公开表达了对 AI 发展速度的担忧。他表示,人工智能系统正在变得越来越难以被人类理解和控制,当前阶段需要“极度谨慎”。
在他的判断中,AI 已经不再只是执行简单指令的软件工具。如今的模型能够操作计算机、与人类协作,也可以和其他 AI 系统共同完成研究任务。随着能力继续提升,未来甚至可能出现无需人类持续干预即可进行“递归式自我改进”的系统。
这也是近年来 AI 安全讨论中最核心的问题之一。
所谓递归式自我改进,指的是 AI 系统能够帮助优化自身架构、训练方法或运行效率,从而进一步提升能力。如果这一过程达到一定程度,技术迭代速度可能超过传统软件开发周期,人类对于模型行为的理解和预测能力可能出现滞后。
当然,目前距离真正意义上的自主改进仍存在技术和工程挑战。但对于 OpenAI 这样的前沿实验室而言,问题并不只是“今天能不能实现”,而是需要提前考虑未来可能出现的能力跃迁。
帕乔茨基认为,开发者拥有两种选择:一方面,可以继续推动 AI 朝更加符合人类利益的方向发展;另一方面,在风险无法评估时,也可以主动降低研发速度。
这实际上触及了 AI 行业近年来不断升温的“自我约束”路线。
与互联网时代不同,人工智能的发展速度和影响范围正在让企业面对一种新的压力。过去,科技公司通常希望更快发布产品、抢占市场,但大模型竞争中,速度优势和安全风险开始形成直接冲突。
OpenAI、谷歌 DeepMind、Anthropic 等公司近年来都在强调 AI 安全研究,但行业内部对于安全标准、发布节奏以及能力开放程度仍存在明显分歧。
一些企业认为,过度限制模型能力可能导致创新停滞,也可能让技术优势转移到监管更弱的地区;另一部分研究人员则担心,在缺乏成熟安全机制之前,快速扩大模型能力可能带来无法预测的问题。
帕乔茨基倾向于后者。他预计,在行业建立统一安全标准之前,AI 实验室可能会逐渐形成“自愿放缓”研发的惯例。
这并非没有先例。
在自动驾驶领域,企业曾经历类似过程。早期行业竞争围绕技术落地速度展开,但随着安全事故和监管压力增加,企业开始更加重视测试体系和部署边界。AI 行业如今面对的,则是更复杂的软件智能风险。
OpenAI 自身也正在调整产品发布策略。
据披露,由于 GPT-6 Astra 具备较强的网络安全能力,OpenAI 已采取有限发布方式,而非直接全面开放。这种做法体现出一个趋势:模型能力越强,企业越难简单通过“公开测试”来验证安全性。
过去,AI 产品上线后可以依靠用户反馈不断修正。但当模型具备更强的自主操作能力时,错误成本可能不再只是回答错误的问题,而可能涉及系统安全、数据保护甚至现实世界运行风险。
不过,行业也面临另一层现实压力。
AI 竞争正在全球范围内加速,美国、中国、欧洲都在推动人工智能基础设施建设。对于企业而言,主动降低速度并不容易,因为任何一家实验室放慢脚步,都可能意味着竞争对手获得领先窗口。
因此,未来 AI 安全治理很可能不会依靠单一公司的自觉,而需要形成更广泛的行业规则,包括模型测试标准、能力评估机制以及高风险应用限制。
帕乔茨基的警告,本质上并不是反对 AI 发展,而是在提醒行业:当技术进步速度超过理解速度时,控制能力本身就会成为竞争的一部分。
AI 的下一阶段,或许不只是比谁能训练出更大的模型,也要看谁能更好地管理这些模型带来的未知变量。
Tags: OpenAI