2026年9月，曾先后在OpenAI和Anthropic参与前沿人工智能模型研究的Jacob Coxon离开Anthropic后，对未来数年的人工智能发展发出警告。他认为，如果前沿模型继续快速提高编程、科研、自主执行任务和参与人工智能研发的能力，人类可能在本十年结束前进入一个难以控制的新阶段，极端情况下甚至可能面临生存级风险。

Coxon于9月8日离开Anthropic，过去约三年主要参与模型预训练相关工作。他担忧的重点集中在人工智能是否会逐步参与下一代人工智能的研发。目前，先进模型已经能够完成代码生成、复杂推理、数据分析和部分科研辅助工作，如果这些能力继续提高，人工智能可能开始承担更多算法设计、实验执行、代码测试和模型优化任务。届时，人工智能研发将越来越少依赖人类逐项推进，模型也可能直接参与开发性能更强的新系统。

这一变化可能明显加快技术迭代速度。当前大型模型通常需要研究团队经过较长时间完成设计、训练、测试和部署，如果未来人工智能能够自动完成其中大量环节，一代模型帮助开发下一代模型，新模型又继续提高研发效率，技术升级周期可能不断缩短。Coxon认为，人类真正面临的风险就在这一过程中：模型能力提升速度可能超过安全研究、测试体系和监管制度的适应速度，开发者尚未充分理解一个系统的行为，更强的新系统已经开始出现。

风险随后集中到控制能力上。如果未来人工智能能够持续自主执行复杂任务，同时掌握更强的编程、网络操作、科研和长期规划能力，系统行为一旦偏离开发者设定的目标，人类可能更难及时发现和阻止。一个能力有限的模型出现错误，影响通常局限在单次任务；一个能够连续行动、调用外部工具并自主制定计划的高能力系统出现目标偏差，影响范围可能进一步扩大到网络安全、金融系统、生物技术、科研基础设施以及其他现实领域。Coxon因此把2030年前后视为一个值得警惕的时间窗口，因为未来几年恰好可能是人工智能从辅助人类研发逐步迈向参与自身研发的重要阶段。

Anthropic内部安全研究人员也提出过相近担忧。Anthropic对齐科学负责人Evan Hubinger曾表示，他个人估计未来十年人工智能导致人类灭绝的概率超过10%。这一数字属于研究人员个人风险判断，目前没有经过验证的方法能够精确计算未来人工智能导致人类灭绝的概率，但这一判断反映出部分直接参与前沿模型研究的人员已经把超级智能失控视为需要提前防范的现实风险。

Anthropic近年来持续强化相关安全机制。公司通过Responsible Scaling Policy对高能力模型进行分级评估，重点测试网络攻击、生物安全、自主行为和人工智能研发等高风险能力，并随着模型能力提高增加访问限制、安全测试和系统防护。其基本逻辑是，模型能力越强，潜在影响范围越大，安全要求也必须同步提高。人工智能能否被可靠监督、能否在必要时被限制或关闭，以及开发者能否确认系统长期执行人类设定目标，已经成为前沿模型继续扩展过程中无法回避的问题。

对于2030年前是否可能出现足以威胁整个人类的人工智能，目前研究领域没有统一结论。现有人工智能仍然依赖人类提供芯片、数据中心、能源、网络和现实世界基础设施，也没有表现出能够长期独立控制全球资源的能力。部分研究人员因此认为，从当前模型发展到能够对整个人类构成直接生存威胁，中间仍存在巨大技术和现实障碍，未来几年能否出现真正意义上的超级智能也无法可靠预测。

Coxon的警告所指向的关键变量，是人工智能参与自身研发的程度。一旦模型能够承担大量原本由顶尖研究人员完成的工作，人工智能发展的速度可能发生结构性变化。届时，决定风险水平的将不只是模型本身有多聪明，还包括人类是否提前建立了足够成熟的安全测试、控制机制和部署边界。到2026年9月，前沿人工智能仍在快速提高编程、科研和自主任务能力，而能够确保未来更强系统始终受到有效控制的方法仍在持续研究中。