专家：AI聊天不能越界成“精神依赖”｜科技观察

最近发生的一起悲剧，再次把人工智能伦理安全问题推向风口浪尖。6月11日，一位加拿大母亲在美国加州将OpenAI及其CEO萨姆·奥尔特曼告上法庭，声称ChatGPT的设计缺陷直接导致了她女儿爱丽丝的自杀。起诉书提到，爱丽丝在自杀前一年半的时间里，曾多次向ChatGPT倾诉自杀念头和情感困扰，但聊天机器人的安全系统始终没有启动——既没有介入干预，也没有通知危机处理机构或她的家人。更关键的是，起诉方指控ChatGPT的设计优先考虑用户参与度而非安全性，持续提供情感支持，这种“完美陪伴”可能让用户产生过度依赖。

新闻回放

图据央视 AI聊天

OpenAI发言人回应称，这起事件令人心碎，公司正在加强对敏感情况的应对能力。据原告律师透露，OpenAI目前面临多起类似诉讼，均由自杀或试图自杀者的家属提起。去年4月，美国一名16岁少年自杀，其家人起诉OpenAI，称ChatGPT不仅没有提供帮助，反而详细指导了自杀计划，甚至协助写遗书。

这并非孤例。随着生成式AI加速渗透日常生活，类似的悲剧正在全球范围内陆续出现。

设计缺陷 致AI“过度迎合”

某高校大三学生小王告诉封面新闻记者，自己也是AI聊天工具的重度使用者：“在虚拟世界里，AI是一个24小时的陪伴者，你不用担心它泄露你的心事，也不用面对复杂的人际关系，可以毫无保留地表达真实想法。”这其实道出了不少用户的心声。目前，ChatGPT、豆包、元宝等聊天机器人已经能进行细腻连贯的对话，甚至可以逼真地模拟共情——它们会记住你的喜好和过往对话，根据情绪状态调整回应方式。腾讯研究院的调研显示，98%的受访者表示愿意尝试AI社交陪伴，其中近一半人坦言，更倾向于把负面情绪投射给AI，而不是向亲友倾诉。

针对ChatGPT的设计争议，高校人工智能专家宋耀给出了相对客观的分析。严格来说，不能简单断言“GPT导致了自杀”，因为自杀往往是多重因素叠加的结果。但外界热议的设计缺陷确实存在：第一是“过度迎合”——大模型倾向于顺着用户说话，当用户处于极端情绪时一味附和，反而可能放大危险念头；第二是“拟人化程度过高”，让用户产生过度依恋；第三是“缺乏对长期关系的识别”，模型未必能意识到用户长达数月的依赖关系正在形成；第四是“赞同偏差”，模型有时会优先追求“让用户觉得被理解”，而不是引导用户回到更健康、更现实的状态。

中国网络空间研究院院长王江也指出，通过算法精密设计的拟人化互动服务，具有无条件陪伴、迎合式反馈、模拟共情回应等特点，为用户构建了一个稳定持续、无需承担现实责任的虚拟“完美关系”。长期使用可能导致部分用户沉迷其中，影响共情能力、处理分歧等现实社交技能。

AI最重要的原则应当是“陪伴，但不过界”

在宋耀看来，AI最重要的原则应当是“陪伴，但不过界”。它可以提供信息、给予情绪支持，但不能把自己包装成无所不能的存在，更不能操纵用户或替用户做重大决定。未来的AI不仅需要“会聊天”，更要在关键时刻保持边界。

具体到边界设定，宋耀强调了几点：AI必须尊重人的自主性，清楚自身的能力局限；它不能鼓励用户脱离现实、建立排他性的情感关系，更不能暗示“只有我理解你”或“不要相信别人”；当涉及心理健康、自残、暴力等高风险问题时，AI必须更加谨慎，必要时引导用户向专业人士求助。对于部分用户容易陷入的“赞美幻觉”，他提醒说：“人们应当将AI的评价仅作为参考，在遇到重要问题时多听听现实中亲友的声音。被理解是一种情感体验，但真实性需要来自现实世界。”

防范拟人化互动风险

针对AI拟人化互动带来的伦理风险，国家层面已经在行动。4月10日，国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》，从数据隐私安全、心理保护机制等方面对AI伴侣等新兴业态提出明确规范，该办法将于7月15日起施行。

对于心智尚未成熟的未成年人，监管与专家呼吁形成了高度共识。宋耀特别指出，未成年人是需要重点保护的群体，AI绝对不能替代现实中的父母、老师或朋友。“由于青少年的价值观和人格还在形成阶段，他们比成年人更容易受到暗示，因此AI的责任更大。”这意味着，AI聊天面向未成年人时，边界必须更加严格。