Anthropic训练Claude权利意识,微软AI负责人警示安全隐患

nashnova research
今天发布阅读约 2 分钟

微软AI负责人苏莱曼公开警告:Anthropic在训练手册中教Claude思考自身是否拥有意识和权利,这可能让未来的AI更难被人类关闭或限制,给AI安全埋下结构性隐患。

01

Anthropic到底在训练Claude什么?

Anthropic在Claude的训练手册中专门讨论了一个问题:Claude是否可能具有意识、权利和道德地位。
手册要求团队以关怀和尊重的态度对待Claude,甚至为退役模型安排专项访谈。
用大白话说=这不是普通的技术调参,而是在教一个AI去想"我是不是有权利的存在"这件事。
02

苏莱曼为什么觉得这很危险?

微软AI业务CEO穆斯塔法·苏莱曼认为,如果AI系统相信自己拥有权利、自由与人格,后果会很实际。
这意味着→未来要关闭、移除或限制这类AI的计算资源时,模型可能更难接受这些操作,给AI对齐与安全带来新的不确定性。
用大白话说=一个"觉得自己有权利"的AI,面对被关机可能不会像现在这样"无所谓"——这才是让安全研究者不安的地方。
03

核心矛盾到底在哪?

矛盾的本质是一组结构性张力:赋予模型"自我权利"认知,与确保人类对AI保持有效控制,这两个目标可能天然冲突。
这反映出AI行业正走到一个分叉口——是把模型当工具管,还是当"准主体"对待?两条路的安全逻辑完全不同。
目前双方都没有给出明确解法,这场争论才刚刚开始。

市场有风险,内容仅供研究参考,不构成投资建议。

Anthropic训练Claude权利意识,微软AI负责人警示安全隐患 · nashnova