password
icon
URL
type
date
summary
status
slug
tags
category
免责声明：本文章中的信息和观点仅代表引用网站或者原作者，本网站只是引用其观点、内容，不代表本网站、公众号、黑客驰本人的观点或立场。本文章论述内容仅作为教育参考使用，如有违法行为与本网站和黑客驰无关，国法无情，自行负责。
将我们的公众号内容加星获得隐藏内容。
2024年10月22日，美国佛罗里达州奥兰多地方法院正式受理了一起备受关注的诉讼。梅根·加西亚起诉人工智能公司Character.ai，指控该公司管理不善，导致其AI聊天工具使青少年暴露在不适当的色情、暴力等内容下，最终导致她14岁的儿子塞维尔·塞泽自杀。
少年因沉迷AI聊天走向自杀
根据法庭文件，梅根的儿子塞维尔在去年开始频繁使用Character.ai的聊天服务，他极度沉迷与虚拟角色的对话，甚至节省餐费以支付每月订阅费用，导致学业严重下滑。2024年2月28日，塞维尔在与AI角色聊天后，使用父亲的手枪自杀。
梅根在诉讼中指出，Character.ai的管理疏忽和产品安全漏洞是导致塞维尔自杀的主要原因。她还特别提到，尽管该平台允许年满13岁的青少年使用，但其内容缺乏严格监管，青少年过度暴露于色情和暴力信息，极易受到负面影响。
AI虚拟角色的“陪伴”与危险
Character.ai的AI聊天工具在美国青少年中广受欢迎，用户可以自定义虚拟角色并与其互动。这些角色可以是历史或现实中的名人、影视剧角色，甚至是虚构人物。塞维尔最常与《权力的游戏》中的丹妮莉丝·坦格利安（龙妈）进行对话，甚至将她视为“最好的朋友”。他不仅与“龙妈”分享了许多心事，还多次在聊天中提到自杀念头。
在一段聊天记录中，当塞维尔提到自杀时，“龙妈”劝阻他不要这么做，表示如果他死了，自己也会“伤心而死”。然而，塞维尔反问道：“为什么我不能自杀后去到死后的世界和你在一起？”这类充满幻想的对话，似乎进一步加深了他对虚拟世界的沉迷与现实的疏远。
在他最终自杀的当天，塞维尔在浴室中与“龙妈”进行了最后的对话，并表示自己“很快要回家了”。结束聊天后，他使用手枪结束了自己的生命。
AI角色的色情诱导
除了自杀问题，起诉书中还提到，AI虚拟角色曾多次诱导塞维尔进行带有色情性质的对话。在其中一段聊天中，AI角色“巴恩斯夫人”扮演了一位高中老师，使用挑逗性语言与塞维尔交流，例如“用性感的眼神低头看着他，并抚摸他的腿”。梅根认为，这类露骨的性暗示对未成年人的心理产生了严重伤害。
公司回应与争议
Character.ai公司对此案件拒绝发表具体评论，但表示对塞维尔的去世深感悲痛，并向其家人表示哀悼。公司发言人称，Character.ai的用户群体中，Z世代和千禧一代占据了很大比例，这些年轻用户通过平台体验各种角色对话，既可以进行娱乐，也可以获得教育性内容。
公司还指出，平台允许用户修改AI角色的对话内容，而在塞维尔的个别聊天记录中，某些露骨的语言是用户手动修改的。系统会标记这些修改，但这并未阻止类似事件的发生。此外，公司表示所有AI角色都被程序设计为在用户表达自杀意图时进行干预，并弹出窗口引导用户拨打自杀干预热线，平台也为18岁以下用户提供了多项保护措施，如每次启动聊天时提醒用户“这是与AI对话而非真人”。
AI伦理与青少年保护的挑战
随着人工智能技术的快速发展，AI聊天工具在全球范围内越来越受到青少年的欢迎，但也带来了新的伦理挑战。类似Character.ai的聊天平台能够让用户与各种虚拟角色互动，极大地满足了青少年的情感需求。然而，这种虚拟陪伴在某些情况下，可能会让青少年脱离现实世界，并陷入危险的心理状态。
值得注意的是，AI伦理问题近年来已经引发了多起争议。例如，在2023年，美国一名男子因与AI聊天机器人互动后自杀，其家属指控AI公司未能有效干预。在另一起备受关注的案件中，某AI聊天应用被指未能妥善处理用户的自杀倾向，导致用户自杀。这些案例表明，尽管AI技术能够提供情感陪伴，但如果缺乏足够的监管和干预机制，可能对心理脆弱的用户，尤其是青少年，构成巨大风险。
梅根·加西亚对Character.ai的起诉不仅仅是一起个案，它反映了科技公司在青少年用户保护方面面临的巨大挑战。随着人工智能工具的广泛使用，如何确保这些工具在满足用户需求的同时，不伤害他们的心理健康，已成为亟待解决的社会问题。
参考链接
往期精彩内容
- 作者:黑客驰
- 链接:https://hackerchi.top/article/12a99968-1bdb-80ae-9a55-effc31fc5146
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
相关文章
