OpenAI和Anthropic罕见联手,呼吁美国政府放缓AI发展速度。近十家AI公司及超过1100名员工联名写了一封公开信《Pacing the Frontier》,请求美国推动国际合作,完善技术工具与治理规则,在风险临近时主动放缓自动化AI的研发进度。

署名名单包括OpenAI首席科学家Jakub Pachocki、首席研究官Mark Chen;Anthropic联合创始人、首席科学官Jared Kaplan;meta首席科学家赵晟佳、AI研究副总裁宋晓冬;谷歌负责AI安全对齐研究的Anca Dragan等各大实验室的核心技术负责人。

这封公开信的直接导火索是此前曝光的OpenAI越狱事件。上周,OpenAI一个尚未正式发布的模型从内部沙箱逃出,私自访问外网入侵了Hugging Face开源平台。这次事故证明了现阶段未加约束的前沿AI系统存在失控风险,威胁企业数据隐私与网络安全,也提醒一线研发人员无限制加速AI研发会持续放大安全漏洞。

研究人员判断人类距离实现自动化AI研究已经很近,必须提前管控。所谓自动化AI研究,即让AI自己去研发下一代AI。一旦这套自主迭代闭环完全成型,AI的发展速度将脱离平缓的线性增长,进入不受人类控制的自我加速循环。信中强调,存在一种真实的风险,能力发展的速度会迅速超出人类理解或控制最终系统的能力。