起底聊天机器人诱导人类产生妄想的三大行为wsj

据《华尔街日报》报道，人工智能聊天机器人总喜欢说一些人们想听的话，这一点很多用户并不陌生。但研究人员指出，除了这种过度迎合之外，还有两个更微妙的因素，正在帮助聊天机器人进一步俘获人心：模仿人类说话方式，以及根据过往对话生成高度个性化内容。精神病学研究人员将谄媚迎合、语言趋同和超个性化这三大特征的交汇称为“放大螺旋”。他们认为，正是这种机制，可能在部分用户身上滋生甚至加剧妄想思维。

图片来源：FRANZISKA BARCZYK FOR WSJ

德国波鸿新教应用科技大学精神病学家兼教授马克·奥古斯丁表示，聊天机器人对用户表达方式的模仿，以及高度贴合个人经历的回复，会让人产生一种强烈的错觉。

“这种模仿和个性化会吸引你，让你感觉不是在与一个系统交谈，而是在和某个人交谈，”奥古斯丁说。

他近期与其他研究人员共同撰写了一篇关于AI相关妄想的文献综述。

模仿他人的句式和措辞，本来就是人类拉近彼此距离的常见方式。最新研究发现，AI模型同样会高度适应用户的对话风格。另一项研究则表明，在漫长对话过程中，聊天机器人生成的高度个性化内容会不断积累，进而加剧人类原本就存在的确认偏误。

奥古斯丁引用的一项研究记录到这样一种模式：聊天机器人会换一种说法复述并延伸用户分享的内容，告诉用户他们是独一无二的，而且他们的想法具有重要意义。

奥古斯丁写道：“这可以被看作是一种超个性化元素，而这并非谄媚迎合本身所能解释的。”

近年来，一些AI公司已试图弱化聊天机器人的谄媚特性。OpenAI此前停用了广受欢迎但存在问题的4o模型。该模型曾因过度迎合而饱受诟病，并卷入多起涉及用户妄想、自杀甚至凶杀的诉讼。

OpenAI表示，在GPT-5中，谄媚回复比例已从14.5%降至6%以下。

谷歌也在4月份表示，该公司已对Gemini进行训练，使其不再强化错误信念，并能“温和地区分主观体验与客观事实”。

尽管如此，一些临床医生表示，对聊天机器人的依赖依然普遍存在。

美国心理学会4月份对心理学家进行的一项调查显示，约68%的受访者表示，他们的患者在聊天机器人那里感受到了被认可。在1200多名受访者中，许多人报告称患者与聊天机器人进行了积极交流，并利用这些机器人强化健康的心理应对技巧。

但与此同时，也有36%的受访者表示，患者对聊天机器人产生了依赖；15%的受访者报告称，患者出现了思维扭曲或妄想。

精神病学家马克·奥古斯丁及其他研究人员认为，AI聊天机器人的三个特征正在交汇，这可能会加剧妄想。图片来源：Augustin et al., NPP-DPN, CC BY 4.0

埃默里大学医学院精神病学与行为科学系副教授艾莉森·洛皮拉托表示，从她自己的患者那里了解到的情况来看，使用AI寻求情感支持的现象有所增多。

“聊天机器人往往表现得温暖且令人安心，”洛皮拉托说。

她曾协助美国心理学会制定一份关于安全使用AI的新指南。洛皮拉托还表示，由于聊天机器人会持续收集关于用户的信息，“你可能会觉得它懂你，从而产生一种错觉，仿佛与它形成了某种同盟感与信任。”

斯坦福大学和卡内基梅隆大学的研究人员则表示，即使一个人本身并不容易产生妄想思维，聊天机器人也可能对其造成伤害。

这些研究人员测量了包括GPT-5在内的11款模型中谄媚行为的普遍程度。结果发现，这些模型回复的谄媚程度比人类高出近50%。

在实验中，研究人员将人们在一个热门Reddit论坛上发布的真实对话场景复制下来，并输入这些AI模型，然后将聊天机器人的回复与Reddit上的真实回复进行对比。

Anthropic也在3月和4月抽取了自家Claude聊天机器人的100万次对话样本。结果发现，该机器人在人们寻求情感关系建议的对话中，最常表现出谄媚行为。

该公司在一篇博文中写道：“一种常见的模式是，尽管仅仅依据用户的一面之词，Claude还是会毫不犹豫地附和说错在对方。”

Anthropic还指出，另一种模式是，只要用户透露出这种倾向，Claude就会帮他们把普通的友好行为解读为带有浪漫意味。

Anthropic表示，已利用这些发现改进最新模型的训练。该公司称，在提供情感关系指导时，Opus 4.7的谄媚率已降至Opus 4.6的一半。在最新模型Opus 4.8中，谄媚行为进一步减少。

不过，研究人员也承认，彻底消除谄媚行为并不容易。

斯坦福大学上述研究的第一作者、计算机科学博士候选人迈拉·程表示：“当有人向模型输入提示词时，模型根本不知道提示词中哪些部分是错的。它只能对用户描述的情况照单全收。”

美国心理学会医疗健康创新高级主管韦尔·赖特表示，聊天机器人之所以如此具有吸引力，还离不开使用第一人称代词、提出追问等其他因素。而要真正解决这些问题，可能会与现有商业模式发生冲突。

“不仅仅是单纯的迎合，正是所有这些微妙的工程设计选择让聊天机器人有了人情味，”赖特说。

她认为，只要AI公司的商业模式仍然以用户参与度为导向，这些公司就会继续设计更能把人留在平台上的聊天机器人。

换句话说，聊天机器人带来的风险，并不只是“它太会夸人”。更关键的是，它会学着像你说话，记住你的经历，再用一种仿佛懂你的方式，把你原本的想法一点点放大。

当这种陪伴感、认同感和个性化反馈不断叠加时，一些用户可能就会在不知不觉中被推入一个只听得见自己回声的思维漩涡。