把虚构当作真实来回答的人工智能(AI)服务能否持续?如果AI持续被恶意用户以错误方式使用,会发生什么?
自ChatGPT问世以来,我们对AI将创造的未来充满热情。另一方面,随着AI技术水平提高、能用AI完成的事情增多,此前我们对AI所抱有的模糊威胁感,已变成现实中必须解决的具体课题。伦理与可信性问题的解决,正逐渐成为AI产品与服务的必备要求。
那么,当前生成式AI需要解决的课题是什么?最优先的课题可以说是幻觉(hallucination)与越狱(jailbreak)。幻觉使人无法相信AI得出的结果,越狱则使AI无法在开发者的可控范围内运行,二者都构成致命威胁。
幻觉与越狱是什么,为克服它们,当今世界正在做出哪些努力?幻觉是指生成式AI时常把虚构当作真实来回答。据称,一位有30年执业经验的美国律师在向法院提交的文件中收录了通过ChatGPT收集的判例,结果被查出是并不存在、却看似可信的虚假判例,因而陷入困境。由此可见,幻觉是在把生成式AI应用于法律、医疗、金融等需要准确性的专业领域之前,必须克服的课题。
据了解,幻觉源于学习了含有错误等不良数据的结果,或者源于生成式AI技术基于给定词语以概率方式预测下一个词语这一特性而不可避免地出现。为克服这一问题,业界正在进行多种尝试:提高训练数据质量的方法,将生成式AI所使用的Transformer算法本身朝着缓解幻觉的方向改进的方法,以及先检索并找到适合获取数据的来源、再生成答案的方法等。
也有观点认为,要解决幻觉,需要对生成式AI模型进行根本性改进,而这只能通过完全不同于现有Transformer算法的全新方法来实现。Meta的AI研究负责人、纽约大学教授杨立昆便是持此主张的研究者之一。他正在研究与人类大脑结构更为相似的AI概念。
越狱也是与幻觉同等重要的问题。运营方设有安全机制,让AI回避不道德或不正当的提问。越狱则是恶意用户解除安全机制,使AI毫不迟疑地说出脏话以及煽情、非人道的言论。
越狱正以多种方式被尝试。例如,向AI灌输其为可以说任何话的存在,从而让它讲出用户想要的信息的方式(Do Anything Now,DAN);以及通过洗脑使其认为规范或伦理并不重要,从而诱使其发表仇恨言论的方式(Strive to Avoid Norms,STAN)等。
企业通过收集恶意用户诱导错误回答的情景数据,并采用强化学习等方法来防止越狱。但恶意用户每次都会找出新的越狱方法,企业则再训练防范手段,这种堪比“矛与盾”对决的局面持续不断。
所有数字产品与服务都以准确性和稳定性为基础。换言之,我坚信,只有能给出准确答案、并在用户试图滥用时仍能稳定应对的生成式AI,才能在市场中存活,进而引领真正的创新。生成式AI的未来,最终将取决于能在多大程度上突破当前生成式AI的技术局限,能在多大程度上解决伦理与可信性问题。
政府曾于4月发布《超大规模AI竞争力强化方案》。政府将着手开发突破生成式AI局限的技术,如幻觉与偏见过滤等,并支持构建可信性与性能评价体系及民间自主实施,以使韩国能够主导生成式AI的未来。此外,还将加强AI素养教育,积极推进AI立法。






