有关尹锡悦总统的深度伪造(deepfake,即利用人工智能技术将现有人物的面部或特定部位合成的视频编辑物)视频在网上扩散后,警方已展开调查。当局将此次深度伪造视频界定为利用总统制造社会混乱的首例。在4月10日举行的第22届国会议员选举仅剩50余天之际,有人担忧深度伪造会影响选举。
22日,首尔警察厅网络调查队表示,已受理有关尹总统出镜的深度伪造视频在网上传播的举报,并着手调查。警方表示:“已确认是使用同一URL地址的抖音(TikTok)、Instagram、Facebook等社交网络服务(SNS)账号的会员发布了该视频等内容。”
该视频标题为“虚构的尹总统良心告白演讲”,时长46秒。视频中由深度伪造技术制作的尹总统出场称:“无能且腐败的尹锡悦政府一味搞特权与违规、不正与腐败”,“我尹锡悦执着于脱离常识的理念,毁了大韩民国,让国民陷入痛苦。”
放送通信审议委员会已受理首尔警察厅的公文,内容为要求删除、屏蔽在社交网络上传播的该视频。审议委员会计划于23日召开紧急通信审议小委员会,若内容属实,将判定是否删除及屏蔽。
审议委员会表示,若议案获得通过,将要求抖音、Instagram、Facebook等发布问题视频的平台运营商采取删除及屏蔽措施。据悉,审议委员会认定该视频为“可能利用总统引发社会混乱的国内首例深度伪造物”。
关于防止再次发生的对策,审议委员会相关人士回应称:“小委员会仅对该议案进行审议”,“(防止再发对策)属于需在政策层面采取措施的部分。”
尹总统的深度伪造视频在2022年地方选举时也曾出现过。当时,一段尹总统支持国民力量党南海郡守候选人朴永一的视频在社交网络上扩散,引发争议。
深度伪造视频主要被滥用于性犯罪,如将他人面部合成到淫秽物中。据审议委员会数据,性方面的虚假影像信息处理件数由2021年的1913件大幅增至2023年8月的3046件。在针对用于性犯罪的深度伪造尚未得到有效管控之际,它已开始动摇选举局势。
随着此类问题不断出现,去年12月国会在全体会议上通过了《公职选举法》修正案,规定自选举日前90天起禁止利用深度伪造进行竞选活动。违反者将被判处7年以下有期徒刑或最高5000万韩元罚金。
NAVER集团和Kakao集团等门户网站也在采取应对措施。NAVER集团在其对话型人工智能(AI)服务CLOVA X中新增了在被要求生成不当内容时不予回应的功能。Kakao集团则决定对由AI生成的内容标注水印。
然而,预计今年此类涉选举深度伪造视频的查处件数将创历史新高。原因在于技术日益精巧,而应对的人力却严重不足。
据中央选举管理委员会数据,从上月29日至本月16日仅19天内,就查处了129件利用深度伪造进行竞选活动、违反《公职选举法》的帖子。这也只是通过选管委自行监测发现的案例,预计未被查处的件数更多。目前选管委专门小组人力包括监测组、AI鉴别组、分析·删除组、调查·处置组、审查顾问团等共72人。
高丽大学信息保护研究生院院长李相镇建议:“深度伪造技术日益精巧,因此应引入判别真伪的自动化系统先进行初步筛选,再由人工进行精细作业的方式来开展监测。”






