一名滥用生成式人工智能(AI)制作、传播操纵社会议题的虚假信息并收取赞助款的油管博主被警方查获。这是通过诱导AI给出特定回答来制造假信息,再将其当作事实制成视频内容的案例。
釜山警察厅网络调查科15日表示,已以违反电气通信基本法(虚假通信)嫌疑将40多岁男性A某不拘留移送检方。
据警方介绍,运营订阅者达8.77万余人的油管频道的A某,涉嫌利用生成式AI制作虚假信息并反复发布在自己的频道上。
A某从今年3月发布“90万桶储备石油被转交给朝鲜”的虚假内容开始,接连上传了以社会高度关注的议题为素材的假视频,内容包括“美国民间军事企业将在汝矣岛登陆”、“针对涉嫌选举舞弊的行政安全部前高官及特定政党人士的抓捕行动正在进行”等。
A某在接受调查过程中也未停止发布虚假信息。经查,他还追加发布了“蒙面的中国籍警察正在蚕室现场施暴”、“蚕室手球馆地下发生纵火恐袭企图”等内容的视频。
警方调查结果显示,A某利用生成式AI的漏洞,反复提出同样的问题或改变提问方式,直到得出自己想要的结论,诱导AI给出错误回答,再以此为依据制作油管脚本和视频。警方判断,他并非未经事实核查直接使用AI生成的回答,而是有意导出特定的虚假结论。
警方认为A某是为获取赞助款而持续传播虚假信息,并通过相关内容实际获得约1000万韩元的油管收益,已申请起诉前追征保全。
近来随着生成式AI的发展,任何人都能轻易制作视频和图像,虚假信息的传播方式也日趋精巧。特别是针对社会矛盾、灾难、选举等敏感议题的AI假新闻,能在短时间内于网上迅速扩散,正成为新的社会风险因素。
警方相关人士表示,“对于以营利为目的利用AI将明显的虚假事实包装得像真的一样、引发社会混乱的行为,将严正应对”。






