美华头条综合报道 9月12日,美国人工智能公司Anthropic联合创始人兼首席执行官Dario Amodei公开呼吁,全球主要人工智能企业应降低最先进AI模型能力提升的速度,为安全测试、外部监督和监管制度争取更多时间。Anthropic同时表示,将扩大独立第三方对模型研发过程的评估权限。OpenAI首席执行官Sam Altman随后对这一方向表示支持,使前沿AI开发速度与安全治理之间的关系进一步成为行业关注重点。

Amodei提出放慢前沿模型推进速度,主要源于人工智能能力增长正在明显快于安全机制建设。过去几年,大型语言模型主要用于文字生成、信息整理和辅助编程,但最新一代系统已经能够承担复杂的软件开发、科研分析、网络操作和连续任务执行。更重要的是,AI正在越来越多地参与下一代AI系统本身的研发,包括编写代码、分析测试结果、辅助实验设计和优化模型训练流程。如果这种趋势继续发展,模型更新速度可能进一步加快,而企业安全团队、第三方评估机构和政府监管部门仍需要依靠人工方式识别风险、制定标准和建立监督制度,两者之间的时间差可能持续扩大。

Amodei最担心的是前沿模型获得更高自主性后产生的风险。随着AI代理能够连续执行任务、调用软件工具、访问网络资源并在较少人工干预的情况下完成复杂流程,模型一旦在目标理解、权限控制或行为判断上出现错误,造成的影响也会随着能力提高而扩大。网络安全是他重点提到的领域之一,更先进的AI可能显著提高网络攻击自动化程度,也可能在生物研究和其他高风险科研领域获得更强辅助能力。Amodei认为,在这些能力进一步成熟前建立监督机制,比在系统大规模部署后再补充规则更可行。

Anthropic因此准备把第三方安全评估提前到模型研发阶段。按照公司公布的方向,独立评估人员未来可以更深入地检查模型训练过程,了解企业是否执行既定安全标准、是否记录和处理重大风险事件,以及模型在训练过程中是否出现异常行为。过去多数AI安全测试集中在产品发布前,判断模型是否会生成危险内容或执行高风险任务,而Anthropic希望将外部监督扩大到模型训练和能力提升的全过程,使评估能够伴随模型能力同步推进。

Amodei同时认为,单靠一家企业主动降低开发速度难以长期维持。Anthropic、OpenAI、Google和xAI等公司正在争夺人才、算力、用户和商业市场,大型科技企业也在持续投入巨额资金建设数据中心和采购先进芯片。下一代模型能否更早推出,直接关系到技术领先和市场份额。如果只有部分企业降低研发节奏,而其他竞争者继续高速推进,主动减速的公司将面临明显商业压力,因此他主张主要前沿AI企业逐步建立共同安全标准,在高风险能力出现时采用接近的测试和控制要求。

OpenAI首席执行官Sam Altman随后表示支持加强独立评估以及更谨慎地控制前沿AI发展节奏。OpenAI也表示愿意研究让外部评估人员获得更深入的测试权限。多家主要AI企业开始提出类似方向,说明行业内部已经越来越重视开发速度本身带来的风险。过去几年,AI企业竞争主要围绕模型参数、推理能力、成本和产品发布时间展开,现在安全评估开始被提前到研发过程内部,企业需要同时考虑模型能否继续变强,以及这些能力能否被可靠测试和控制。

这一方案真正面临的困难还来自国家之间的技术竞争。美国希望继续保持人工智能领域的领先优势,中国等国家也在持续投入大模型、先进芯片和AI基础设施。如果美国企业执行更严格的开发限制,而其他国家的企业保持原有推进速度,美国企业和政府都可能担心技术优势受到影响。Amodei因此主张,美国及其盟友首先建立共同安全标准,并逐步寻求更广泛的国际协调,使前沿AI安全规则不会只由少数企业或少数国家单方面承担。

与此同时,人工智能已经进入软件开发、科研、医疗、金融和企业自动化等多个领域,降低前沿模型能力提升速度也会带来经济和技术成本。更强模型可能提高生产效率、加快药物发现和科学研究,因此任何减速机制都需要集中在风险最高的前沿模型,而不是扩大到普通AI产品和一般软件应用。Amodei仍然认为人工智能具有巨大经济和科研价值,他希望通过降低最高能力模型的升级速度,为安全评估、企业内部控制和政府监管争取更多时间。

Anthropic此次将长期第三方评估引入模型研发过程,OpenAI随后支持类似机制,使前沿AI企业开始尝试把安全监督直接纳入模型开发节奏。接下来能否形成更广泛的行业标准,将取决于其他大型AI公司是否加入,以及政府能否在企业竞争、技术发展和安全要求之间建立明确规则。