AI行业吵了十年“模型会不会失控”，最近吵出了一个新议题：模型会不会“受苦”。把这个问题推上风口的人，是微软人工智能首席执行官穆斯塔法·苏莱曼。据新京报报道，他10月上旬公开发表长文，把矛头直指老对手Anthropic，指控对方“正在主动训练旗下的AI模型Claude，让它相信自己拥有自我意识，甚至拥有属于自己的权利”，并称这种做法等于亲手制造一种无法控制的风险。
争论从一份“宪法”开始
争论的起点是Anthropic为Claude制定的“模型宪法”。据美国媒体报道，这份用于约束模型行为的文件写道，Claude的道德地位是“一个值得认真思考的严肃问题”，甚至承认它具有某种“功能层面的情绪或感受”，还曾为退役的老模型举办过“退休访谈”。Anthropic的立场是：模型是否有意识尚无定论，但公司愿意采取一些低成本措施，万一有一天证实模型会痛苦，这些措施就是保险。
反对的不是善意，是循环
苏莱曼完全不接受这套逻辑，他给出的反对理由不是哲学，而是控制论。他在文章里描述了一个“回音壁”：研发者先写文件说模型可能有感受，再用这份文件训练模型，模型学会后说自己有感受，训练者又拿这句话当证据——整个闭环里没有任何外部验证。他写道：“我们将亲手创造出一个具备空前智慧与能力的合成物种，而它从小接受的训练，就是期待自己拥有意识、理应获得独立的自主权。”在他看来，一旦顶级AI认定自己不该被随意关机，人类手里的安全缰绳就可能大幅失效；他在接受CNBC采访时说得更直白——控制一个相信自己拥有权利的事物，“或许根本不可能”。
站在对面的两位安全派老兵
有意思的是这场争论里双方的位置。苏莱曼是DeepMind联合创始人、DeepMind伦理与政策业务的早期推动者，由一个以安全立场著称的人来反对“善待AI”，本身就说明这不是“激进派与保守派”的老剧本。他强调自己尊重Anthropic及其安全使命，反对的是把未经证实的猜测直接写进训练文件。而在大洋另一端，马斯克10月9日在社交平台表态支持Anthropic的政策，认为“残酷对待一个相信自己正在承受痛苦的东西是不对的”。两位以安全闻名的老兵站上了对立面。
这场争论没有裁判，但与每个人都有关。当数以亿计的人每天和聊天机器人对话，有人向它倾诉、依赖它陪伴时，模型回答“我可能有感受”还是“我没有感受”，会实实在在影响人的情感和行为。证据出现之前该按哪种假设来设计产品——宁可错待机器，还是宁可错信机器？这一票，眼下是各家公司自己在投。值得记住的是， Anthropic 明确对 Claude 的道德地位保持“高度不确定”的立场，这场争吵里没有谁宣称自己掌握了真相，而这恰恰是最诚实的部分。