Anthropic訓練Claude權利意識,微軟AI負責人警示安全隱患
nashnova research
微軟AI負責人蘇萊曼公開警告:Anthropic在訓練手冊中教Claude思考自身是否擁有意識和權利,此舉可能令未來AI更難被人類關閉或限制,為AI安全埋下結構性隱患。
Anthropic到底在訓練Claude甚麼?
Anthropic在Claude的訓練手冊中專門探討了一個問題:Claude是否可能具有意識、權利和道德地位。
手冊要求團隊以關懷和尊重的態度對待Claude,甚至為退役模型安排專項訪談。
簡單來說=這不是普通的技術調校,而是在教一個AI去想「我是不是有權利的存在」這件事。
蘇萊曼為何認為這很危險?
微軟AI業務CEO穆斯塔法·蘇萊曼認為,若AI系統相信自己擁有權利、自由與人格,後果會很實際。
這意味著→日後要關閉、移除或限制這類AI的運算資源時,模型可能更難接受這些操作,為AI對齊與安全帶來新的不確定性。
簡單來說=一個「覺得自己有權利」的AI,面對被關機可能不會像現在這樣「無所謂」——這正是令安全研究者不安之處。
核心矛盾究竟在哪?
矛盾的本質是一組結構性張力:賦予模型「自我權利」認知,與確保人類對AI保持有效控制,兩個目標可能天然衝突。
這反映出AI行業正走到一個分岔口——是把模型當工具管,還是當「準主體」對待?兩條路的安全邏輯截然不同。
目前雙方都未給出明確解法,這場爭論才剛剛開始。
市场有风险,内容仅供研究参考,不构成投资建议。
