2022-12-28 | 김동호 기자

以高于抽取式摘要的“抽象式摘要”方式构建数据

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

随着AI技术发展,文档摘要服务呈增长趋势。不仅报纸新闻、招聘求职网站,各类保险公司条款、银行等也推出了运用AI的服务。然而,摘要文往往只是对正文的摘录水平,有时会遗漏重要内容,或者摘要出的内容不结合前后文便无法理解。抽取式摘要是从正文中选择重要句子原样呈现在摘要中的方式,通常可在门户网站的新闻摘要服务中见到。其优点是各句子完成度高,但若选中的句子缺乏上下文衔接,则存在句子连接生硬、重要内容遗漏、相似内容重复呈现等局限。生成式摘要是为弥补抽取式摘要缺点而出现的摘要方式,由AI撰写概括正文内容的新句子。作为比抽取式摘要更先进的方式,其优点是能更充实地概括内容。但也一直有人指出其局限:各句子可能存在语法错误或表述生硬。为弥补生成式摘要的局限并提高完成度,Altovision公司牵头的联合体构建了韩国智能信息社会振兴院(以下简称NIA)的“生成式摘要事实性验证数据”(以下简称生成式摘要项目)10万套。该联合体以Altovision公司为主管机构,Nara Knowledge Information公司与Bflysoft公司参与,自今年7月起推进该项目。在联合体中,Bflysoft公司负责原始数据采集与清洗及源数据生成,Altovision公司负责数据加工,Nara Knowledge Information公司负责审核与质量管理。生成式摘要项目由AI与人分别撰写生成式摘要文,并将摘要文中包含的错误构建为可供AI学习的数据。错误类型分为属于句子生成过程错误的句子错误和属于内容概括过程错误的内容错误,细分为6种类型。句子错误分为△韩文拼写、分写错误△用词错误△不通顺句子△未完成或不完整句子等;内容错误分为△关键词或重要内容错误△相似内容重复错误等。此外,为使AI能够学习错误,一个数据集中包含错误摘要文、摘要文错误位置、错误类型信息、错误修正信息,并以json文件形式构建。Altovision与Teddysum公司计划开发可对人写的句子或AI生成的句子指出错误或进行修正的“老师AI”解决方案。

Altovision公司AI NLP Lab.室长金泰勋表示:“目标是克服现有拼写检查器的局限,开发自动校正实时上传的媒体报道拼写错误的AI服务,最终让人们在门户网站上看到准确的报道”,并称“以NIA为中心正在大量构建AI学习用数据,我们也希望通过修正既有构建数据的错误,为提高学习用数据质量作出贡献”。Altovision公司是2020年成立的中小企业,为AI学习用数据构建专业企业,曾承担NIA的数据构建项目、信息通信产业振兴院(NIPA)项目等。

阅读韩文原文