今年初,美国一家知名律所的律师在向法院提交虚假判例作为辩论依据后道歉,引发风波。这名律师在代理企业诉讼过程中引用了美国破产法中并不存在的判例而被发现。他向法官解释称:“在使用生成式人工智能(AI)查找判例时出现了幻觉现象。”随着ChatGPT等AI服务融入日常生活,法院、学校、医院等各处都出现了信任危机。
韩国科学技术院(KAIST)对外副校长郑在民30日在首尔钟路区Seoul Economic Daily大楼接受采访时诊断称:“将解决问题的思考与判断过程依赖于AI的‘思考外包’已到了严重程度。”他接着表示:“在AI幻觉泛滥的情况下,更大的危险是人们自己停止思考”,并建议“应培养不依赖AI也能解决问题的能力”。郑副校长曾任韩国广播学会副会长、韩国媒体经营学会总务理事等职,是媒体专家。他通过《人工智能时代,为十几岁少年准备的媒体课》《将思考外包的人们》等著作,揭示AI与平台依赖的危险性并提出解决方案。
郑副校长指出,AI的运作结构必然会大量产生幻觉。他解释称:“在已学习的句式模式充分积累的领域,生成式AI给出正确答案的概率很高”,“但在难以充分学习的领域,它会任意组合既有模式”。他接着补充:“由于这种结构,它会给出不存在的判例、从未发表的论文、不存在的人的发言等虚假信息”,“人们未意识到这种结构性问题,却笃信AI给出的结果,由此产生诸多问题”。
他建议,为不陷入AI的这种幻觉,应锻炼“判断肌肉”。他表示:“只有到了AI无法给出答案的决定性危机时刻,人们才会意识到自己已丧失判断力”,“应在为时未晚之前,培养不借助AI而自行选择和决定的人类特有能力”。他接着补充:“有必要先养成把AI给出的答案与自己的判断进行比较的习惯”。
关于我国社会“假新闻”泛滥,他解释为认知因素作用的结果。他以脑科学领域研究成果为依据表示:“我们的大脑在结构上对假新闻很脆弱”,“把熟悉误认为真实,只相信自己想相信的,被外表欺骗、被情绪左右,这源于认知特性”。他接着补充:“接触刺激情绪的假新闻时,人们倾向于不核实真伪就当作事实接受”,“在看到引发愤怒的新闻、产生立刻分享冲动时,有必要确认这是否是真实的”。
对于包含惩罚性损害赔偿制度等内容的修订版《信息通信网法》,他担忧其副作用。他表示:“考虑到各种阴谋论导致社会陷入混乱等弊害,监管是必要的”,“但可能出现对模糊事项索性不发言的‘寒蝉效应’现象”。他接着指出:“为消灭害虫而滥用杀虫剂,最终可能连植物也一并杀死”。
他建议,为阻止假新闻扩散,需要技术应对和素养教育。他解释称:“识别AI生成物的水印、让新闻来源得到认证的媒体机构系统建设很重要”,“与此同时,比起大量获取信息的能力,培养对信息的批判力的教育变得更重要”。
他还基于最近进行的媒体实验,介绍了关于事实核查的有趣发现。他解释称:“对虚假新闻抱有错误信念的人也会改变想法”,“但对于断定‘你错了’的语气和纠正方式,他们会强烈反抗”。他接着补充:“比事实核查本身更关键的是如何纠正和传达”,“要以类似模拟时代那样富有人情味的情感方式接近,才能发挥效果”。






