2026-02-11 | 서지혜 기자

通用AI令研究者措手不及…转向专用型

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

上班族A某最近在准备工作报告时向生成式人工智能(AI)求助。他在输入框中要求“帮我找与○○相关的论文”,AI服务在几秒内就列出了参考文献清单。论文标题、作者、期刊名一应俱全,格式完美。但真正点击链接后,A某却犯了难。论文打不开,反复出现的只有“找不到页面(404)”的提示。在互联网上任何地方都找不到该论文。这是AI编造出的貌似可信的谎言,即所谓的“幻觉(hallucination)”现象。

AI引用中17%是假的……即便“升级”,幻觉依然如影随形

“幻觉”是指AI编造出实际并不存在的事实或信息的现象。土耳其伊兹密尔巴基尔恰伊大学凯马尔·伊尔泰尔教授研究团队今年1月在论文公开网站arXiv上发布的论文《17%的缺口》显示,AI向用户提供的成果中有相当一部分出现了这类幻觉。研究团队对2024年9月至今年1月发表的50篇AI领域综述论文(共5514条引用)进行了取证式调查。他们动用数字对象唯一标识符(DOI·Digital Object Identifier)查询、学术数据库检索乃至标题相似度计算等手段,追踪AI所引用的论文。

验证结果显示,占全部引用17%的939篇论文处于在数字世界中无法确认的“幻影(phantom)”状态。其中约5%是任何地方都不存在的彻底伪造。16%的论文标题与真实论文相似,但DOI等唯一编号被错误识别,无法连接到真实论文。若修改部分标题或按作者姓名检索可以找到真实论文,但仅凭引用本身无法抵达原文。

占比最高的约78%是因PDF中文字乱码或空格消失等技术问题而无法检索。论文存在,但AI在生成引用信息的过程中格式遭到破坏。此类错误可通过重新整理标题、作者、年份等信息在相当程度上恢复。不过,需要这些额外工作本身就显示出AI生成引用的局限。这类问题即使随着时间推移、AI模型升级后依然持续出现。这意味着无法核实的引用并非技术初期的试错,而是当前AI引用方式中事实上已固化的问题。

快却细节欠佳……在医学、科学、法学领域引发混乱

研究人员表示,AI之所以如此理直气壮地提供错误信息,是因为“AI没有检索论文,而是重组了记忆中的模式”。也就是AI敷衍了事。大规模语言模型(LLM)在收到提示词后,依据统计模式预测某个词之后应出现的词语,从而生成句子。它能通过运算快速找出大量信息,但核实该论文是否真实存在、DOI是否正确的功能却很薄弱。因此生成的成果在“细节”上令人遗憾。研究人员将其称为“懒惰的研究助理”,即不准确核实细节信息,只制造出表面完整的引用。

幻觉已在各界引发多种问题。通过AI检索医学信息时,组合出不存在的医学期刊与作者姓名、推荐貌似可信的假论文,或法律人士拿着并不存在的判例走上法庭的案例,已被频繁报告。在科学界,研究人员在调查研究背景时,基于并不存在的实验数值或统计资料建立假设,导致报告本身被撤回的案例也接连出现。

删除虚假信息的目的特化型AI登场……成为能干的同事

正因如此,科学界比起ChatGPT、Perplexity等通用AI,更关注目的特化型AI的作用。华盛顿大学与艾伦人工智能研究所(Ai2)联合研究团队开发的“OpenScholar”即为代表。OpenScholar基于4500万篇以上的开放获取论文运行,即依据实际检索到的论文而非AI的记忆来构成答案。AI撰写的每一句话都与真实存在的论文实时相连,点击句尾的编号即可直接跳转至该论文的摘要或原文。无法连接的引用在生成阶段即被删除,虚假参考文献没有插入的余地。科学期刊《自然》(Nature)近期评价称,“GPT-4o等模型在使用最新文献时会产生最高达90%的幻觉,而OpenScholar大幅降低了这一比例,并提高了引用准确度”。

近来在科学家之间使用日益增多的“PaperQA”,并不基于全球知识,而只在用户自行选定的论文集合内回答问题。用户上传20篇PDF论文,AI就只在该范围内寻找答案。此外,所有回答都会一并给出页码与段落级别的资料来源,以阻断幻影。

还出现了像真实实验室同事那样与用户一起寻找答案的AI。基于AI的文献综述工具“Elicit”在用户输入问题后,会找出相关论文并以表格形式整理,同时给出与各项主张相连的真实论文来源。特别是它会分析论文摘要,将研究方法、样本量、主要结果等结构化展示。其特点在于设计上让AI依据既有研究进行整理,而非自行编造答案。学术检索服务“Consensus”则不让AI断定某一个结论,而是分析与问题相关的数十至数百篇论文,以支持、反对、依据不足的比例呈现。每项结果都附有真实论文链接。这是一种不听取AI意见、而直接确认学界如何分歧的架构。其思路是让AI依据既有研究进行整理,而非自行生成答案,从而降低幻觉发生的可能性。

阅读韩文原文