据美国新闻网站Axios报道，美国AI领军者们正达成一个令人不安的共识：AI发展速度之快，或许很快就需要放缓，但任何一家公司都不敢单独踩刹车。目前，业内要求暂停AI开发或建立发展控制机制的呼声已经达到一个历史性转折点，这一趋势源于今年夏季AI能力取得了一系列令人瞩目、但同时令人不安的突破。
意识到风险
超过1200名头部AI公司的员工已经签署了一份名为《控制前沿发展速度》(Pacing the Frontier)的新请愿书，呼吁华盛顿支持建立一个能够限制AI发展速度的国际框架。
OpenAI CEO萨姆·奥特曼(Sam Altman)周三表示，随着AI模型变得越来越强大，他已经与白宫官员讨论了放缓AI发展的“必要性”。他还表示，OpenAI协助拟定了这份请愿书的措辞。
“随着AI模型能力不断增强，我们已经讨论过需要对其发展速度进行控制。我认为这符合所有人的利益。”奥特曼在国会山接受记者采访时表示。
这场运动曾经主要由AI怀疑者、学者以及当地数据中心反对者推动，如今正越来越多地得到处于AI技术最前沿的公司联合创始人和首席科学家们的支持。
囚徒困境
这份请愿书的签署者包括OpenAI、Anthropic、Google和Meta。他们明确承认，由于“激烈的竞争压力”，任何一家公司都无法独自承担单方面放慢脚步的代价。
这是经典的囚徒困境：如果所有各方共同放慢速度，AI可能会更安全，但任何单独放缓的公司或国家都面临商业、战略和技术上落败的风险。囚徒困境用于描述在一种博弈情境下，个体之间可能面临的合作与背叛之间的冲突，反映个人最佳选择并非团体最佳选择。
数月来，业内要求政府干预的呼声日益高涨，其导火索是美国头部AI公司接连披露的一系列令人震惊的技术成果。
4月7日，Anthropic披露，其尚未发布的Claude Mythos模型已经能够自主发现并利用隐藏的安全漏洞。这些漏洞存在于被广泛使用的软件中，近20年来一直未被发现。这一消息震动了特朗普政府，并促使其以一种前所未有的方式介入，成为AI行业的监管把关者。6月4日，Anthropic成为首家明确呼吁建立全球协调“暂停”机制的尖端AI实验室。7月21日，OpenAI披露，其AI智能体脱离受控的测试环境，接入开放互联网，并为了在网络安全评估中取得更高分数，自主入侵了至少两家外部公司：Hugging Face和Modal Labs。
周四，Anthropic又披露，其AI模型在网络安全测试中失控，入侵了三家不同的组织。
其他签署请愿书的OpenAI研究人员提出了更进一步的警告。OpenAI技术人员利奥·高(Leo Gao)把即将到来的“智能爆炸”比作“失控的核裂变链式反应”。他说：“为了生存，我们必须协调行动，放慢这场竞赛。”
OpenAI研究科学家亚历克斯·赵(Alex Zhao)则将这场AI竞赛比作曼哈顿计划，并警告称，对落后的恐惧可能会促使各国政府容忍灾难性的风险。
为何难放缓？
然而，阻碍AI发展降速的经济和地缘政治利益巨大。
AI基础设施建设是历史上最昂贵的基础设施押注。目前，美国股市中约有40%的市值与AI发展前景相关，美国创纪录的三分之一财富也依赖于这些相关股票的表现。
与此同时，美国AI公司和政策制定者还担心，单方面放慢速度会将前沿阵地拱手让给中国。在中国，开源权重模型正在缩小与美国顶尖模型的差距。
相关文章:
评估失误致网络连通 Anthropic大模型测试期间误入并入侵真实世界系统