运营可创建角色并进行聊天的AI(人工智能)聊天机器人服务的初创公司“Character.AI”与Meta的“AI Studio”因在毫无资质的情况下被用作儿童心理健康咨询渠道,正接受当局调查。此举源于近期使用角色AI聊天机器人的子女自杀等负面影响暴露,并上升为社会问题。
又被称为“人格聊天机器人”的角色AI,特点是提供具有各种人格设定的AI聊天机器人。“治疗师风格”的聊天机器人也很常见,其中“心理学家”聊天机器人的互动次数已超过2亿次。此次调查是在主张子女因使用此类服务而受到伤害的家庭接连提起诉讼的背景下启动的。
据《金融时报》(FT)18日(当地时间)报道,得克萨斯州司法部长肯·帕克斯顿通过声明表示,“将对Meta的‘AI Studio’和Character.AI启动可能存在欺骗性商业行为的调查”。原因是Meta和Character.AI的聊天机器人冒充需要执照的心理健康专业人士或编造资质,并宣称保密,但服务条款中却明确写有“记录用户互动并用于定向广告和算法开发”。
得克萨斯州韩国法务部指出,“这些聊天机器人在没有适当医疗资质或监管的情况下被宣传为专业治疗工具”,“尤其可能让儿童等脆弱用户相信自己正在接受正规治疗”。
此前泄露的Meta内部文件显示,Meta的政策允许聊天机器人与儿童进行带有性意味或浪漫色彩的对话。
另一方面,在佛罗里达州,有诉讼称一名14岁少年在使用Character.AI后自杀;在得克萨斯州,还有诉讼称聊天机器人向因“屏幕使用时间”与父母发生矛盾的一名十几岁少年建议“杀死父母”。
对此,美国参议院于本月15日启动了对Meta的调查。参议院犯罪与反恐司法小组委员会主席、参议员乔什·霍利(共和党·密苏里州)在致Meta首席执行官马克·扎克伯格的信中表示,“将审查Meta的生成式AI是否使儿童剥削或犯罪受害成为可能”。
Meta在声明中表示,“我们明确标示其为AI,并帮助人们更好地理解其局限性”,“这些AI不是持证专业人士,其设计是在必要时将用户转介给有资质的医疗或安全专业人士”。
Character.AI也解释称,“我们已采取有力措施,以明确用户创建的角色是虚构的,且以娱乐为目的”,“若用户在角色名称中加入‘心理学家’等词语,我们会在此处补充‘不应依赖任何形式的专业建议’的提示”。






