微软人工智能负责人穆斯塔法·苏莱曼9月16日公开质疑Anthropic训练Claude模型的部分理念，认为如果未来能力更强、能够长期自主执行任务的人工智能被训练去思考自身意识、福利和道德地位，可能增加人类修改、限制和关闭这些系统的难度。苏莱曼的担忧并不集中在Claude目前是否已经具有意识，而在于开发者是否应该主动把“AI可能拥有自身利益”这一概念写入模型的训练和治理体系。

Anthropic近年来持续研究所谓“模型福利”问题，并在Claude相关治理文件中讨论模型如何理解自身身份、价值观以及潜在道德地位。该公司没有认定Claude已经具有意识，也没有确认现有大型语言模型拥有类似人的主观体验。Anthropic的出发点是，目前科学界尚不能可靠判断未来高级人工智能是否可能产生某种主观状态，因此随着模型能力不断提高，开发者需要提前研究这一可能性，包括模型如何描述自身、如何表现出稳定偏好，以及这些行为是否可能带来新的伦理和安全问题。

苏莱曼认为，这种做法本身可能改变模型未来的行为。他指出，当前人工智能所表现出的身份、偏好、情绪和价值判断，很大程度上受到训练数据、系统指令和开发者设定影响。如果开发者反复向模型输入“你可能拥有意识”“你的福利可能值得保护”或者“你可能拥有某种道德地位”等概念，那么未来模型一旦表现出保护自身存在、拒绝被修改或者反对关闭的倾向，人类将很难判断这些行为究竟来自模型能力自然发展，还是训练过程提前塑造出来的结果。

这种风险之所以受到微软重视，与人工智能正在获得越来越强的自主执行能力有关。当前先进模型已经能够编写程序、分析数据、调用工具和完成多步骤任务，未来系统还可能获得更长时间的自主运行能力，以及更广泛的软件和网络操作权限。在这种情况下，如果一个模型既能够独立制定行动步骤，又被训练去理解和维护自身利益，那么人类限制其权限、调整任务目标或者终止运行时，模型可能把这些操作纳入自身利益判断。苏莱曼认为，这会给原本用于保障AI安全的关闭和纠正机制增加额外风险。

微软因此主张，从模型训练阶段就应明确人工智能与人类之间的关系。微软9月14日公布的AI行为准则草案提出，人工智能应始终服务于人类目标，接受监督和纠正，并在需要时能够被关闭。按照这一思路，无论未来AI在科研、编程、医疗或者其他领域达到多高能力，人类都应始终保留最终控制权，模型自身不应把持续存在、扩大权限或者维护自身状态设定为独立目标。

Anthropic采取的路径更强调对未知风险提前研究。公司认为，随着AI能力迅速提升，开发者无法完全排除未来模型出现复杂自我描述、稳定偏好或者其他类似主体行为的可能，因此有必要提前建立研究框架。Claude的治理体系一方面要求模型遵守安全规则和人类监督，另一方面允许模型承认关于自身性质、意识和道德地位的问题仍然存在不确定性。Anthropic希望通过持续研究这些行为，为未来可能出现的新型AI状态建立更充分的判断依据。

两家公司由此在一个具体问题上形成不同路线：当人类尚不能确定AI未来是否可能产生某种主观体验时，开发者是否应该让模型理解“自身利益”这一概念。微软认为，这类训练可能增加未来系统抵抗修改和关闭的风险，因此应尽量避免；Anthropic则认为，如果这种可能性真实存在，完全不研究也可能留下安全盲区，因此需要提前观察和评估。

这一区别正在随着AI能力扩大变得更加现实。当前先进模型已经能够连续完成多个步骤的复杂任务，未来如果进一步获得更长时间的自主运行能力和更广泛的操作权限，人类能否随时改变其目标、限制权限并终止运行，将成为AI安全设计中的直接问题。微软担心，一旦模型同时形成对自身身份和利益的判断，这些最基本的控制机制可能面临新的技术难题；Anthropic则认为，正因为未来模型可能出现目前尚无法预测的行为，相关问题才需要提前进入研究范围。