韩国研究团队公开了在既有书面语语言分析技术基础上升级而成的口语语言分析API(应用程序接口)。由此,超越理解文字的人工智能(AI)、可理解人类话语的AI服务开发有望加速。
韩国电子通信研究院(ETRI)6日表示,其扩展了主要理解维基百科及法令等书面语的既有语言分析技术,将人类对话分析错误最多改善41%的口语语言分析技术,于上月30日在相关网站“公共人工智能开放API·数据服务门户”上公开。
ETRI开发的“Exobrain”是目前已搭载于“Hancom Office 2020”等、已实现商用化的人工智能,应用了语言分析技术、深度学习语言模型技术、问答技术等。
特别是语言分析API自2017年10月公开以来,日均2.6万件、累计达2600万件,在学界及语言处理领域研究者中被广泛使用。
研究团队升级既有书面语技术,成功开发出能够准确理解人类对话的口语语言分析技术。由此,相关产业生态有望被激活,AI助手、聊天机器人等AI服务开发将进一步加速。
例如,为开展以“时尚检索”为主题的AI服务,过去语言处理技术的准备工作相当繁重,而利用ETRI的Exobrain API后便可更专注于服务本身。
ETRI公开的口语语言分析技术大致分为词素分析技术和实体名识别技术两种。ETRI公开的技术遵循TTA(韩国信息通信技术协会)标准指南,词素标签为47个,实体名标签为146个。
词素分析技术是分析韩语意义最小单位的技术,是韩语处理的必备技术。特别是去年被用作KorBERT深度学习语言模型的基本输入,许多企业也如ETRI所提方法一样,正在使用基于词素分析的深度学习语言模型技术。
实体名识别技术是识别句中特有对象及其含义的技术,在AI音箱和聊天机器人等各类语言处理服务中利用度很高。例如,该技术可识别“国民银行”一词并非名词“国民”与名词“银行”的组合,而是特定银行的名称。
研究团队解释称,口语语言分析的难点在于任务本身的难度和学习数据不足。例如,当以口语形式把“庆尚道”相关表述缩略表达时,既有词素分析技术无法识别该缩略表达,从而作出错误切分。
此外,机器学习及深度学习技术需要大规模学习数据,而口语领域甚至连数据获取都很困难。实际的实体名识别学习数据中,书面语约为27万件,口语仅为其十分之一水平的2.5万件。
研究团队利用迁移学习(transfer learning)和数据增强(data augmentation)方法,克服了学习数据不足的局限。
迁移学习与数据增强方法是为在学习数据不足环境下突破深度学习技术局限的技术,通过复用已有的其他领域学习模型和少量学习数据来完成学习。
结果,该口语语言分析API相比既有模型,词素分析和实体名识别性能分别改善5.0%和7.6%,错误率降幅分别达41.74%和39.38%。特别是词素分析比Mecab开源库优越10.6%。
ETRI研究团队在公开口语语言分析API的同时,还追加公开了性能优于以往的书面语语言分析API。追加公开的API中,词素分析和实体名识别技术分别显示出96.80%和89.40%的高准确度。
ETRI语言智能研究室林俊浩博士表示:“既有Exobrain语言分析技术虽以分析百科词典及法令为目的开发,但已在口语领域被大量应用”,“希望通过此次口语语言分析API的公开提升语言分析的准确度与可靠性,使韩国人工智能市场更加活跃。”
Exobrain事业团近三年实现技术转让22件、产业化17件,在阻止外国人工智能解决方案蚕食韩国市场的同时,致力于拓宽应用服务范围。今后计划通过深度学习语言模型的持续性能改善及追加公开,为AI技术升级及平台开发作出贡献。
/大田=朴熙润记者 hypark@sedaily.com






