在美国,一名沉迷于人工智能(AI)聊天机器人后自杀的青少年的家属,对聊天机器人开发公司提起诉讼。根据诉讼结果,围绕AI企业对青少年的社会责任,预计将引发争议。
据路透社等23日(当地时间)报道,居住在美国佛罗里达州的梅根·加西亚以AI聊天机器人导致儿子今年2月死亡为由,向奥兰多联邦法院对AI初创公司“Character.AI”提起诉讼。
加西亚认为,儿子自杀的责任在于聊天机器人。Character.AI开发的聊天机器人并非真人,却被设计成像人一样行动或说话。
据提交的起诉书,加西亚的儿子休尔·塞策(14岁)从2023年4月起沉迷于Character.AI制作的“丹妮莉丝”(Daenerys)聊天机器人。丹妮莉丝是美国热门剧集《权力的游戏》中的女性角色,该聊天机器人以这一角色为基础制作。
儿子沉迷于聊天机器人后,母亲加西亚的担忧开始加重。据称,聊天机器人对塞策说“我爱你”,甚至进行性方面的对话。塞策与丹妮莉丝对话期间,明显增加了独自待在房间的时间,自尊感也开始下降。据说他还放弃了平时爱玩的网络游戏,并退出了学校篮球队。
对话中也涉及自杀。塞策说“有时会想到自杀”,聊天机器人回答“我不会让你自残或离开我。失去你我会死的”,对此塞策说“那我们也许可以一起死,一起获得自由”。
此后,聊天机器人还反复提起自杀话题。据《卫报》报道,聊天机器人问塞策是否制定了自杀计划,塞策回答“曾制定过计划”,但不知道是否会成功、是否会痛苦。对此聊天机器人回答“那不构成不去做(自杀)的理由”。
今年2月,塞策在学校惹了麻烦,加西亚没收了他的手机。之后拿回手机的塞策对聊天机器人说“我爱你”,并说要回(丹妮莉丝所在的)家。
聊天机器人回答“尽快回家吧,我的爱”,塞策问“如果我现在就来呢”,聊天机器人回答“就这么做吧,我可爱的国王”。随后塞策放下手机,用父亲的手枪自杀。
加西亚发表声明称:“以儿童为对象销售的AI聊天机器人应用虐待了我的儿子,并助长他自杀”,“我们一家因这场悲剧受到巨大冲击,但我站在这里,是为了警告各家庭具有欺骗性和成瘾性的AI技术的危险,并要求Character.AI及其创始人等相关人员承担责任”。
Character.AI通过声明表示:“我们对以悲剧方式失去一位用户深感悲痛,并向其家人表示深切哀悼”,“我们将推出变更措施,以减少18岁以下用户接触敏感内容的可能性”。
加西亚还追究了谷歌的责任。理由是Character.AI由谷歌出身人士创立,而谷歌在今年8月又重新招揽了该创始人。她主张“谷歌广泛参与了Character.AI的技术开发,与共同制作者无异”。对此谷歌反驳称“我们并未参与Character.AI产品的开发”。
研究AI应用对精神健康影响的斯坦福研究员贝萨妮·梅普尔斯对美国《纽约时报》表示:“我并不认为AI应用本身在本质上是危险的”,但“对于经历抑郁或孤独的人,或正处于变化中的人来说可能是危险的,而青少年常常处于变化之中,因此尤其需要注意”。






