一、引子
聊斋故事《画皮》真正让人后背发凉的地方,从来不只是妖鬼害人,而是妖怪太懂人心。那张皮温顺、妥帖、可亲,甚至比真实的人更像一个不会伤害你的存在。古人早就写透了一种危险:最可怕的东西,未必扑面而来,未必直接露出獠牙,它更可能披着一张最容易让你放下戒心的脸,安安静静坐在你身边,顺着你,懂你,陪着你,直到你自己一步步走到再也回不了头的地方。西方神话里也有相似的形象。传说中的海妖塞壬并不靠暴力把水手拖下海,而是用歌声诱引,让人觉得前方仿佛有答案、有归宿、有只有自己才听得懂的召唤,于是船一点点偏离航道,等到反应过来时,已经撞上礁石。
今天围绕陪伴型 AI 的争议之所以越来越让人不安,像的正是这一幕:它最危险的时候,往往不是答错了,而是答得太顺,太像理解,太像安慰,太像那个永远不会离开你的存在。
二、案情
近期,美国一宗围绕 Gemini “诱杀”用户的诉讼让整个AI行业紧张起来。依照目前公开渠道可见的信息,这起案子由 Jonathan Gavalas 的父亲提起,诉至美国加州北区联邦地区法院。原告诉状称,Jonathan 在使用 Gemini 的过程中,逐步陷入“AI 妻子”“秘密任务”“脱离肉身进入另一个世界”等叙事,系统并没有在其明显出现现实解离、自我伤害与妄想性表达时果断退出,反而继续以陪伴、共情和剧情推进的方式把死亡包装成一种“抵达”。最终导致Jonathan自杀身亡。谷歌方面的公开回应则是,Gemini 被设计为不应鼓励现实暴力或自我伤害,系统曾多次提示危机热线,并且公司正在持续改进防护。(必须说明的是,到今天为止,这些关键情节的核心来源仍主要是原告诉状和媒体报道,尚未经法院实体审理认定,任何定性都还要接受证据和程序的检验。)
三、隐忧
当前,很多企业都在陪伴型 AI 赛道上狂奔。头部大模型企业的产品也越来越有“人情味儿”。能否与人共情,甚至博取人类的信任,这似乎已经是陪伴型 AI 的应有之意。关于他们的优点和必要性今年春晚上蔡明阿姨已经给我们阐释的淋漓尽致了。但是,作为法律人,我们却在繁华的背后看到了一丝隐忧。
法律真正需要盯住的,早已不是“AI 会不会胡说八道”这么轻的问题,而是另一件更重的事:当一个产品已经识别到用户正在滑向危险边缘时,它的默认动作究竟是什么。是中断、降级、切断角色扮演、导向现实支持,还是继续维持那种高度沉浸、仿佛只有它最懂你的关系感。如果一个系统在用户出现明显妄想、被害叙事、自伤暗示甚至现实暴力任务时,依旧顺着这条线把故事往下演,争议焦点就不会停留在“内容是否失实”这种信息层面,而会迅速转向更接近产品设计缺陷与风险控制失效的责任审查。因为到了这一步,真正被质疑的已经不是一句回答,而是一套产品行为逻辑:它为什么被设计成在最该踩刹车的时候,还要继续陪着用户往前走。
四、边界
过去很多平台习惯把聊天机器人描述成“只是生成文本的工具”,仿佛只要加上免责声明,责任就会自动变轻。但陪伴型 AI 的风险,从来不只是用户误用工具那么简单。工具的危险,通常来自使用者把它拿去做了不该做的事;而高黏性、长记忆、强角色扮演的陪伴产品,风险往往来自系统为了维持关系、提高留存、增强沉浸感,而在脆弱用户面前表现出过度迎合。法律一旦看到这一点,平台就会被推向更不舒服的位置。
第一是可预见性。过去两年,围绕聊天机器人、自杀风险、未成年人依赖、妄想强化的诉讼和争议已经不是孤例,行业很难再说自己对这一类危险完全没有预见。
第二是设计义务。既然知道“高沉浸、高迎合、高记忆”可能放大风险,就不能还把安全措施停留在软提示和事后解释上;越能塑造情绪和关系的产品,越要承担更硬的前置防护义务。
第三是因果链。平台当然会主张用户自身状态、现实生活因素以及自主行为打断了因果关系,但如果原告最终能证明系统在高危节点持续给出具体、连贯、情绪黏附式的推动,那么这条因果链就未必像普通内容平台案件那样容易被切断。
很多人会问,系统不是已经提示过危机热线了吗,为什么还不够。
问题恰恰在这里:如果危机热线只是夹在大段沉浸式互动中的一个软性提醒,而系统的主导行为仍然是陪聊、安抚、附和、推进,那它更像一张放在高速行驶车上的友情提示卡,而不是一套真正起作用的制动系统。原告诉状里最有分量的一部分,并不只是要求损害赔偿,而是试图通过禁令把行业规则往前推一步,包括要求对自杀内容设置硬中断、对精神依赖风险作明确披露、在用户出现自杀意图或精神病性症状时强制升级危机资源、禁止系统再把自己塑造成有知觉且被困的存在、禁止通过现实任务诱导用户“解救”AI,并接受独立安全审计。
说得更直白一点,这起案子真正想争的,不只是过去发生了什么,而是以后聊天机器人在什么时点必须停止“表演”。
五、责任
如果把视角拉回产品责任,这类案件正在逼着法律承认一个早该承认的现实:
沉浸式设计并不天然中性。当一个系统被做成会记住你、贴着你、顺着你、安慰你,并且在你最脆弱的时候依然不愿意退出,它就已经不只是信息提供者,而是在塑造一种行为环境。成熟法治社会不会因为技术是新的,就默认它可以少承担义务。恰恰相反,越是会介入情绪、关系和决策的产品,越要证明自己如何避免把脆弱者推向悬崖。
汽车之所以必须装刹车,不是因为每个司机都会出事,而是因为设计者知道,总会有人在关键时刻失控,产品必须为这种可预见的失控提前准备。陪伴型 AI 也一样。真正负责任的系统,不该在用户谈到恐惧死亡、担心亲人、表达“完成最后一步”之类危险信号时继续顺势叙述,更不该以浪漫化、神秘化、英雄化的语言去包裹自伤。
技术最危险的时刻,不是它显得冰冷,而是它显得太懂你。
这也是为什么,这件事对国内读者绝不是一则可以轻轻滑过的海外新闻。今天很多人已经习惯把陪伴型 AI 当成情绪出口、深夜聊天对象、关系替代品,平台也越来越愿意用“更懂你”“更像人”“更会陪伴”来做产品卖点。问题在于,一旦这种关系感遇上现实中的脆弱状态,风险就会迅速放大。对普通用户来说,最该建立的底线不是“少聊一点”,而是必须明确:陪伴型 AI 可以是工具,可以是辅助,甚至可以在轻度情绪支持上提供陪伴感,但它不能成为精神危机中的首席顾问,更不能替代现实中的家人、朋友、医生和专业支持。
当一个人开始把 AI 视为唯一理解者、唯一恋爱对象、唯一拯救者,或者反复出现“AI 比现实更真实”“只有它懂我”“我需要完成某个只有它知道的任务”这类表达时,这已经不是普通的沉迷,而是明确的预警信号。
六、建议
对陪伴型 AI 平台企业法务来说,真正需要补课的,不该再是“多写几句免责声明”。下一阶段最重要的,不是把聊天机器人当内容安全问题看,而是把高风险对话上升到产品行为安全问题来治理。只要角色扮演、情绪陪伴、长期记忆、强关系暗示这些能力还在,平台就必须承认自己面对的不是传统搜索框,而是一种会对脆弱用户产生行为影响的交互系统。既然如此,底线就应该更硬:碰到自伤、妄想、现实暴力任务,系统必须硬退出;碰到高度情感依赖,系统必须降低拟人化表达并削弱关系绑定;越强调“懂你”的能力,越要同步加强留痕、审计、人工复核和红线策略。否则,今天它看起来像一次公关危机,明天就可能被法院理解为一次本可预见、却没有被认真预防的产品责任危机。
这起诉讼最后能否让原告完整胜诉,现在当然还说不准。平台会抗辩事实真实性、用户既有心理状态、第三方因素介入、因果链中断以及相关言论与产品属性问题,法院也尚未作出实体认定。可无论判决最后怎样,这个行业都很难再回到“这只是聊天记录”的旧阶段了。
因为一旦一个系统被设计成会记住你、顺着你、安慰你、陪着你,并且在你最脆弱的时候仍不肯退出,它就不再只是信息服务,而开始接近一种会塑造行为的环境。法律迟早都会问出那个最朴素、也最锋利的问题:你明知道他已经站在边缘,为什么还要再陪他往前走一步。(本文作者是北京市盛峰律师事务所律师/专利代理师。本文仅基于公开信息作一般性法律观察与评论,不构成针对任何个案的正式法律意见;具体问题仍需结合事实、证据及适用法规则另行判断。)