美华头条综合报道 9月12日，在美国前沿人工智能企业再次讨论模型发展速度和安全控制之际，埃隆·马斯克重新强调了自己长期以来对人工通用智能（AGI）的警告。他认为，如果未来人工智能发展到明显超过人类整体认知能力的水平，其潜在风险可能高于核武器。马斯克早在2023年就曾公开作出类似判断，当时他表示，在自己见证过的发展中的各种技术中，AGI带来的潜在风险尤其值得警惕。三年后，随着人工智能从文字和图像生成进一步发展到复杂推理、软件编程、工具调用、计算机操作和连续任务执行，这一警告重新成为前沿AI企业安全议题的一部分。

马斯克此次表态的背景，是人工智能行业开始更加直接地讨论是否需要放慢最先进模型的能力提升速度。9月12日，Anthropic首席执行官达里奥·阿莫代伊提出，前沿人工智能企业应为安全评估和控制技术争取更多时间，包括引入独立评估人员、建立持续模型检查机制，并推动主要开发商形成最低安全标准。OpenAI首席执行官萨姆·奥尔特曼随后支持加强独立安全评估，马斯克也对减缓前沿模型能力增长的方向表示认同。目前几家公司尚未形成统一的暂停开发协议，但行业高层已经把一个越来越现实的问题摆到台前：模型能力提升的速度如果持续超过安全技术和监管制度的发展速度，人类能够用于发现和纠正风险的时间可能越来越少。

马斯克关注的重点是未来更高级别的人工智能。当前人工智能仍需要人类提供服务器、电力、网络权限和具体任务，但最先进模型已经能够自行编写代码、搜索和整理信息、调用其他软件、拆解复杂任务，并通过智能代理连续完成多个步骤。随着模型获得越来越强的推理和行动能力，人工智能在整个系统中的角色也开始改变。过去的软件主要按照预先设定的程序执行具体功能，而智能代理能够根据目标自行选择工具、安排执行顺序并根据结果调整下一步行动。如果未来这种自主能力与远高于人类的推理水平结合，控制系统需要面对的将不只是程序是否正确运行，还包括机器在面对复杂环境时会自行作出什么选择。

这也是马斯克将AGI与核武器进行比较的主要依据。核武器拥有已经得到历史证明的巨大破坏能力，但其运行高度依赖核材料、工业设施、军事指挥体系和投送系统，武器本身不会主动设计下一代武器，也不会自行寻找资源或者扩大部署范围。高级人工智能属于数字技术，一套能力成熟后可以复制到不同计算系统，并进入金融、通信、能源、科研、网络安全、生物技术和军事等多个领域。如果未来的AGI能够自主规划长期任务、获得广泛网络权限、编写新的软件并帮助改进下一代人工智能系统，它所能影响的范围可能远远超过单一武器系统。

由此产生的核心风险是人类能否始终保持最终控制权。人工智能研究中的“对齐”问题，关注的就是系统能否长期按照人类设定的目标和价值边界行动。今天的模型已经会出现错误推理、虚构信息和任务执行偏差，未来如果模型能力更强、权限更大，这类偏差造成的后果也可能扩大。一个高度自主的系统即使接受的是看似合理的目标，也可能选择设计者没有预料到的执行路径。当系统本身比监督它的人类拥有更强的分析和规划能力时，人类发现问题、理解原因以及及时中止行动都会变得更加困难。马斯克长期警告的正是这一阶段，他认为人类很难依靠自身经验准确预测一种远比自己聪明的智能系统将如何行动。

不过，目前并没有可以量化证明AGI灾难风险已经超过核战争的研究结论。AGI至今也没有全球统一的定义和测试标准，各家人工智能企业对达到何种能力水平才能被称为AGI仍有不同判断。现有模型虽然在部分任务上的表现已经超过普通人，但仍然会犯错，也高度依赖人类建设的算力、能源和网络基础设施。核武器已经具有明确的大规模杀伤能力，超级人工智能造成全球性灾难的路径则取决于未来模型究竟能够发展到什么程度、人类会赋予它多少现实权限，以及安全机制能否在能力突破之前建立起来。

另一种风险判断更加关注已经出现的现实问题。随着人工智能进入网络安全、军事决策、自动化软件和关键基础设施，模型被滥用、错误决策以及权限管理已经成为可以直接观察的安全问题。AI还可能被用于网络攻击、诈骗、虚假身份生成和大规模自动化操作。相比尚未出现的超级智能，这些风险已经进入政府和企业的现实管理范围。但两类风险并不完全分离：当前模型每增加一种自主操作能力，都会为未来更强系统提供新的技术基础，因此部分前沿实验室开始尝试在能力进一步扩大以前建立测试、权限控制和外部评估制度。

行业竞争使这一问题更加复杂。OpenAI、Anthropic、Google、Meta以及马斯克旗下的人工智能业务都在投入巨额资本建设计算基础设施和训练新模型，性能提升直接关系到用户增长、企业估值和市场地位。任何一家企业单方面明显放慢模型开发速度，都可能把技术优势让给竞争对手。这也是阿莫代伊提出共同安全标准的重要原因：如果主要企业接受相近的模型测试和风险控制要求，安全投入带来的竞争成本就可能降低。但人工智能软件可以跨境传播，全球还有大量开源项目和不同国家的研发团队，因此即使美国主要公司达成行业标准，也很难像核材料管制那样对全球人工智能开发活动进行统一核查。

马斯克本人也处在这种技术竞争和安全警告同时存在的位置。他长期公开警告高级人工智能可能带来的文明级风险，同时持续投入资金发展更强的模型和计算基础设施，旗下业务正在推进Grok系列模型和人工智能代理。他目前主张的方向仍是继续发展人工智能，同时在系统达到更高级别自主能力之前建立更严格的安全边界。随着模型逐步从回答问题转向主动执行任务，未来人工智能风险的关键也越来越集中到三个因素：系统能够自主做什么、人类愿意赋予它多少权限，以及当机器能力超过监督者以后，人类是否仍然能够限制和关闭它。