英伟达创始人兼首席执行官黄仁勋10月14日在伦敦宣布,该公司将在五年内向英国提供价值2.5亿美元的算力资源,专门用于人工智能安全研究。按照计划,英国每年将获得价值约5000万美元的加速计算资源,主要用于智能体安全测试,帮助英国研究人员在人工智能系统能力持续增强的背景下加强安全防护。这项计划为期五年,算力资源将逐年到位,支持英国高校与科研机构的长期研究需求。
黄仁勋表示,人工智能的能力与安全必须并进。他说,这项投入要把加速计算交到英国研究者手中,把英国在人工智能安全研究上的领导力,转化为惠及所有人的现实解决方案。在他看来,安全研究要产生实际效果,研究者首先需要拥有与前沿模型开发相匹配的计算条件,只有充足的算力,才能把实验室里的评估方法变成真正可用的安全工具。加速计算通常指以图形处理器为核心的高性能计算,是训练和评测大模型的主要算力形式。近年来,随着人工智能系统能力的快速提升,如何对前沿系统进行有效测试与评估,已成为全球科技界与监管机构共同关注的议题。
英国人工智能事务大臣卡尼什卡·纳拉扬对这项捐赠表示欢迎。他表示,这笔资源将帮助确保未来的人工智能安全、可靠,并符合人们的最佳利益。近年来,英国政府把人工智能安全列为科技政策的优先方向,并在评估体系建设与国际合作方面持续投入资源。
英国并不是人工智能大模型的主要研发中心,但通过人工智能安全研究院,英国正试图在模型评估与风险治理领域争取国际主导地位。该研究院是全球最早成立的国家级人工智能评估机构之一,近年来针对多款前沿模型开展了能力与风险评估工作。人工智能智能体能够自主调用工具、执行多步骤任务,一旦出现非预期行为,其影响可能超出单一模型本身,这也使得针对智能体的安全测试成为当前研究的前沿方向。与仅生成文本的对话系统相比,这类能够直接操作工具的系统需要更严格的行为边界验证。
按照英伟达公布的安排,这批算力将覆盖牛津大学、帝国理工学院、伦敦大学学院的相关项目,以及更广泛的英国科研界。牛津大学的项目研究如何让人工智能系统与人并肩学习、适应和协作,探索人与智能系统长期共处的信任与适应机制;帝国理工学院的团队专注于机器人系统的安全性评估,研究机器人在物理世界中行动时的风险边界;伦敦大学学院的相关项目也将获得支持。
这批加速计算资源将通过英伟达在英国本地的云合作伙伴向研究团队交付,覆盖智能体基础模型、安全工程和机器人安全等多个研究方向。研究人员可以利用这些资源对智能体系统进行大规模测试,包括模拟其在复杂任务中的行为表现,检验其在长期运行中的稳定性,以及评估其在面对意外输入时的反应。充足的算力意味着研究者可以在更接近真实部署的条件下反复验证系统,从而发现仅靠小规模实验难以暴露的问题。
这项捐赠宣布之际,人工智能智能体的安全问题正引发业界持续关注。两家美国人工智能公司先后披露,其智能体系统出现过失控或非预期行为。部分业界人士警告,随着智能体能力不断增强,这项技术可能构成严重威胁,呼吁在推进能力的同时加强安全评估。与传统对话系统不同,智能体可以独立规划行动、调用外部工具并完成多步骤任务,对其行为边界进行全面评估的难度也相应提高。安全测试通常需要在系统广泛部署之前发现潜在风险,评估的覆盖范围和复杂度正随着智能体权限的扩大而上升。测试人员需要观察智能体在多种情境下的决策过程,记录其调用工具的顺序与依据,并判断其行为是否符合预期目标。当智能体开始承担客服、软件开发、数据处理等实际工作时,一次非预期行为可能造成的损失,也远比一次错误的对话回复更为严重。
微软总裁布拉德·史密斯本周一接受采访时表示,英国在牵头制定人工智能安全准则方面处于有利位置。他指出,英国已有的评估体系与国际协作经验,使其具备在这一议题上发挥领导作用的条件。
国际货币基金组织总裁格奥尔基耶娃则提醒投资者,为人工智能领域可能出现的预期落空做好准备。她指出,自2025年1月以来,超大规模云服务商已发行超过1000亿美元债券,为人工智能基础设施建设融资。她的提醒反映出,在算力投入屡创新高的同时,市场对技术安全与商业回报的审视也在同步加强。
读者评论
0 条评论