韩国国内研究团队开发出可像人一样聪明地理解文档并查找所需信息的技术。
韩国电子通信研究院(ETRI)7日表示,已开发出2种API(Application Programming Interface),可从办公文档中就用户提问给出正确答案,并理解两个句子是否含义相同。
该技术已在ETRI公共人工智能开放API·数据服务门户上公开,任何人都可轻松使用。
现代组织将各种业务相关信息和知识制作成电子文档形式。信息虽保存在主页或群组软件中,但需通过帖子标题和文件名中包含的词汇进行检索,并逐一打开文档查找所需内容,因此检索效率低下。
ETRI开发出的技术不仅可利用人工智能软件检索所需信息,还能针对用户提问确认正确答案及依据。
首先,行政文档问答(QA)API技术是利用深度学习语言模型识别段落和表格,从而识别答案及依据句子的技术。例如输入"出差经费需100万韩元时,审批应到哪一级?"这一问题,便会找出"100万韩元以下由室长专决"等包含公司内部规定信息的文档及其依据部分。
该技术由共同研究机构韩文与电脑公司以盲测方式测定了准确度。结果显示,以段落为对象检索得出的前5个结果准确度为89.65%,以表格为对象的检索准确度为81.5%,准确度较高。
此外,复述(Paraphrase)识别API是像人一样聪明地阅读文档、判断不同形式的句子是否具有相同含义的技术。这是可用于前述行政文档QA API之外其他韩语AI开发的源头技术。
人工智能和深度学习技术与人不同,句子稍有变化便无法正确识别语义关系,存在稳健性(robustness)问题。例如"他买了红色自行车"和"他买的自行车是红色的"这两个句子,人和机器都能轻易区分,但与"他没有买红色自行车"这一句子却难以区分。
ETRI改善了深度学习技术在稳健性上的局限,开发出可在各类句子中识别语义关系的该技术。在稳健性评估集上的评估结果显示,准确度达96.63%,性能大幅优于现有开源深度学习技术。
所开发的技术基于标准XML处理文档格式。目前仅面向韩文文档提供服务,但开发技术本身可通用于Word、PDF等其他文档。因此预计将应用于公司内部规定、手册、在线公告等多种文档和领域。
研究团队表示,办公文档格式多样且不规范,应用人工智能技术较为困难,但通过构建稳健性高的数据并提升判断问题所在的算法性能,得以取得本次成果。
今后计划对应GPT-3(Generative Pre-trained Transformer 3),开发同时学习语言理解与生成的深度学习语言模型并公开相关技术,从而提升AI技术实力并为平台开发作出贡献。
ETRI语言智能研究室林准豪博士表示:"期待此次技术能使韩语人工智能服务市场更加活跃,阻止外国人工智能解决方案蚕食国内市场,并帮助国民更轻松快速地获取有用的知识信息。"
研究团队自2017年10月至今共公开18项API,最近4年实现技术转让65件、事业化35件。ETRI的API至今累计使用4700万次,2020年以后日均使用超过4.5万次,在学界及产业界语言处理领域研究者中被广泛使用。特别是已应用于银行、保险、制造、法律、机场、在线定制广告等多种AI服务领域,为韩国的智能化作出贡献。






