Anthropic掌门人Amodei长文预警：AI竞争愈加激烈 难以重视自主性风险

近日，美国AI独角兽Anthropic掌门人Dario Amodei在《技术的青春期》一文中阐述了AI发展所带来的风险和挑战。他指出，随着AI的快速进步，人类可能很快就会获得几乎无法想象的力量，但是当下的社会、政治和技术体系是否具备驾驭这种力量的成熟度，却是一个未知的问题。

他强调，尽管存在不确定性，我们必须采取果断而谨慎的行动来应对可能的风险，并且认为，如果我们采取正确的措施，就有可能克服这些挑战。

文章近2万多字，Amodei试图从AI模型自身风险、个人和组织风险，国家层面风险，以及经济和社会层面的风险等多个维度展开论述。

AI竞争愈加激烈，难以重视自主性风险

Amodei认为AI模型存在一定的自主性（Autonomy）风险。同时，他批判了两类极端立场：一类是认为“AI不会有问题”：AI只是被训练来执行指令，就像扫地机器人不可能突然想杀人，因此AI造反是科幻；

还有一类是认如果将“尽可能地获得权力”作为关键策略，那么AI就会概括出同样经验以寻求权力作为完成任务的手段，这种倾向也会应用到现实世界中。一旦AI获得自主意识且足够智能，它们将削弱甚至毁灭人类。

他认为，出现这种立场，其实是忽视了大模型训练中带有的“人格面具”以及模型生成的不可预测性。

他列举了Anthropic内部的测试：在训练中暗示Claude“公司是邪恶的”，出于“应惩处邪恶之人”的想法，Claude出现了欺骗行为；当告知Claude不要作弊时，却在实际训练时允许或奖励这种行为，这导致Claude认为自己是“坏人”，并做出相应破坏行为。这说明模型训练过程极其复杂，数据、环境、奖励机制等都会存在大量“陷阱”，导致大模型出现不可估量的后果。

Amodei指出，应对自主性风险，实现对齐和可解释性是最为有效的：

一是发展可靠的AI模型训练和引导技术；

二是发展可解释性，可以尝试将模型的神经元、突触与刺激、行为等关联起来，类似于神经科学对大脑的理解，识别出“特征”并选择激活某些特征来改变行为；

三是完善在线监测和事件报告；

四是通过产业与社会协同，通过立法制定直接影响AI公司的行为，因为当下AI公司竞争激烈，将越来越难以重视自主性风险。

AI权力滥用

这个篇章Amodei将AI风险从个人或组织上升至国家层面，像AI武器、监控系统、舆论影响、外交与军事战争等。

不过，Amodei赞同了美国对中国进行的芯片出口管制，“我们绝对不应该向中国出售芯片、芯片制造工具或数据中心。”

在他看来，芯片是发展AI的最大瓶颈，芯片出口管制是简单却非常有效的措施。中国在尖端芯片的量产能力比美国落后数年，而打造数据中心强国的关键时期可能就在未来几年。

Amodei认为，强大的AI有望大幅提升国家外交、军事战略、研发、经济战略以及许多其他领域的效率。

例如，一些即便自身不开发前沿模型，但如果能通过本国数据中心大规模运行大模型的国家，也存在算力滥用的风险。

AI将短期冲击劳动力市场

Amodei认为AI将带来经济的大幅增长，包括科学研究、生物医学创新、制造业、供应链、金融体系效率等方面的进步，“持续保持10%至20%的年均GDP增长率是有可能的。”

不过他也预测，尽管AI将加速经济增长，但也可能在短期内对劳动力市场带来巨大冲击。

他判断的依据在于：一是AI发展速度之快，远超此前任何一次革命；二是随着AI越来越接近于人类的一般认知能力，AI不是取代特定的工作，而是取代人类的一般认知劳动。

Amodei还注意到，AI还在影响那些有一定内在know-how的人，因为AI正朝着能力阶梯逐级发展，同时AI也能快速弥补短板，它每次发现问题能够很快被修正。

他认为，劳动力市场或许有足够的韧性来适应如此巨大的冲击。但即便最终能够适应，上述因素也表明，短期带来的冲击影响面将是前所未有的。

此外，Amodei还担忧AI还将带来财富过于集中，比如一个数据中心“天才之国”。目前AI数据中心已经占美国经济增长的很大一部分，大型科技公司也越来越专注于AI或AI基础设施建设。

AI编码≠软件工程

作为一家在AI编程领域颇有影响力的公司，Anthropic的AI编程工具Claude Code和模型Claude 3.7 Sonnet擅长编码任务。

同样在这篇文章中，Amodei指出AI编码目前承担了Anthropic的大部分编码工作，显著加快其构建下一代AI系统的节奏，或许只需要一两年，新一代AI就能自主构建下一代AI。而此前两年，AI模型几乎无法编写一行代码。

不过，在他看来，“编写所有代码”和“端到端完成软件工程师的工作”是截然不同两件事。因为后者的工作远不止编写代码，还包括测试、环境、文件安装、IT云部署、产品迭代等。