随着人工智能(AI)角色聊天服务用户迅速增加,对过度沉迷的担忧也在加大。在以政界为中心,针对AI角色聊天服务的监管立法讨论正式展开之际,业界则表示过度监管可能妨碍产业成长,并密切关注相关动向。
据业界2日消息,国会立法调查处近期公开了指出AI聊天机器人风险的报告。该报告关注的服务为Zeta、Crack、Babechat等以角色为基础的AI聊天服务。用户可设定想要的角色和世界观后,与AI角色持续对话。AI角色提供个性化对话和情感回应,无论时间和地点都可随时互动。
报告认为,由于服务的这些特征,用户若在与AI角色的对话中产生情感依赖,可能回避现实、削弱批判能力,从而引发认知扭曲。一旦习惯于AI无条件附和的语言,就会选择社会性孤立而非与他人建立真实关系,最终可能暴露于有害信息、模仿危险行为及个人信息泄露等风险之中。
国会立法调查处作出上述指出,是因为在韩国国内,AI角色聊天服务实际上以10至20多岁用户为中心被大量使用。据Mobile Index数据,“Zeta”上月人均月平均使用时间达40小时。继Zeta之后,“Melting”为29小时,“Crack”为26小时,“Caveduck”为25小时。以今年上半年为准,用户总使用时间中Zeta以3亿小时遥遥领先。Zeta的月均用户为129万人。Caveduck、Melting的月均用户仅7万余人,但总使用时间超过1000万小时。由于对话型服务的特性,即便用户数不多,也会在应用上投入相当长的时间。
这正是有人指出需要以强化平台运营商预防性责任为内容加强相关监管的原因。国会立法调查处表示:“应转向事先防止诱发依赖、从属的设计要素本身,并以制度方式管理运营商责任”,“韩国科学技术情报通信部应制定识别和管理诱发成瘾、过度沉迷的AI服务设计要素的标准和指南”。
共同民主党议员赵仁哲直接提出法案,规定在儿童、青少年用户的监护人提出要求时,可限制服务使用方式和时间,并可获取与角色的对话内容。赵议员还计划在9月举办讨论会,内容涉及包括AI角色聊天服务在内的平台运营商须事先强制评估对用户可能造成的风险。
对于此类监管讨论,业界一致表示,在认同保护用户必要性的同时,制度设计应避免妨碍产业成长与创新。
一位业界人士表示:“运营AI角色聊天服务的各家公司都在实施各种安全措施,例如一旦检测到暴力、仇恨等有害内容便中止服务使用”,“与无条件监管相比,也应考虑企业正在作出这些努力。”






