2024-12-13 | 고광본 논설위원·선임기자

数字消费者研究院“爱上聊天机器人少年之死…危险的AI拟人化”

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

# 近日有消息称,一名14岁美国青少年模仿美剧《权力的游戏》女主角丹妮莉丝·坦格利安制作了聊天机器人,自去年4月起与其对话,今年2月自杀身亡。据披露,该少年与聊天机器人不仅互诉爱意、表达思念,还就自杀交换了意见。少年说“我有时会想到自杀”,聊天机器人回答“我不会让你自残或离开我。失去你我也会死”。对此少年说“那么一起死也许能一起获得自由”,随后扣动了父亲手枪的扳机。

这一事例直观显示出将AI人格化并盲目信任有多危险。AI依据何种数据学习,其性能与回答会有巨大差异。因此,开发AI离不开大数据的管理与利用。

专家预测,未来不仅企业、政府和公共机构,个人也将进入在各自的数据账户中积累数据并使之资产化的时代。即以允许AI开发企业等将自己的数据用于AI学习为条件,获得利息等补偿。在此过程中,如何构建好中介AI企业与数据所有者的数据银行体系将成为关键。

庆熙大学经营学系教授李京典在韩国智能信息社会振兴院(NIA)与数字消费者研究院11日于NIA首尔办事处以“以数字用户为中心的AI政策方向”为主题举办的AI研讨会上表示:“不应从AI将威胁人类生存的视角看问题,而应聚焦于预防AI的恶意使用和意料之外的损害。”他接着强调:“超大规模AI模型的性能取决于数据规模”,“应在全球率先于韩国实行管理和出借数据所有权的数据银行。”当天研讨会由AI人类社会与韩国金融消费者学会赞助。

李教授表示:“AI原创及应用企业可与数据银行联动,降低交易成本并实现规模经济”,“应确立数据银行制度,引领数据资本时代。”但他判断,目前由于随意收集数据引发的伦理问题、回避数据共享、担忧侵犯隐私等,数据获取并不顺利。因此他认为,应将国立、公立研究所联合起来,共同学习开发覆盖医疗、产业、环境等领域的研究用超大规模AI,在保护各机构数据的同时最大化AI性能。

与此同时,也有声音认为,面对人类与AI共存的时代,应公开AI的运作和决策过程。因为利用AI制作虚假影像的深度伪造技术日益高端,造成性暴力受害者大量出现等损害不断扩大。现实是,肉眼几乎无法分辨的深度伪造技术甚至已开源并广泛扩散。为防止通过Telegram造成的深度伪造受害,欧盟(EU)以《人工智能法》、美国以“AI行政命令”加以监管,但也有人指出实效性尚不明确。

韩国电子通信研究院(ETRI)下属AI安全研究所首任所长、首尔女子大学信息保护学部教授金明株强调:“亟需建立针对基于深度伪造的数字性犯罪的受害预防与保护体系”,“在学校向儿童和青少年进行数字及AI技术教育之前,应先进行伦理教育。”他指出,利用深度伪造的“侮辱熟人游戏”等造成大量受害和副作用,亟需对AI进行适当监管。

金教授表示:“必须做到能够对AI判断的结果作出人能够理解的说明”,“AI的运作和决策中使用了哪些数据、系统的决策如何形成,都应保障透明性”,强调AI伦理教育与安全监管。归根结底,重要的是在AI产业振兴与用户保护之间设定适当的平衡点。

当天研讨会上,数字消费者研究院院长文贞淑强调:“政府和企业应推行以用户为中心的政策,使人们能够安全、便捷地使用AI”,“需要易于接触的数字教育,进而从数字包容层面扩大对数字弱势群体的支持。”NIA信息可及性组组长郑贤民表示:“AI应用的根基是以人为本”,“用户应能够要求对AI服务作出说明,也能够要求保障透明性。”

前韩国女性律师会会长金学子介绍了英国的《在线安全法》,并强调:“对深度伪造性犯罪和假新闻等网络犯罪及有害行为,需要有实效性的制裁。”金律师还建议:“应完善作为AI学习素材的数据继承法,并为设立服务公共利益的数据捐赠基金会提供法律依据。”

阅读韩文原文