2020-10-20 | 박희윤 기자

KAIST开发提升深度学习准确度与速度的技术

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

KAIST 20日表示,计算机学院李在吉教授研究团队开发出可大幅提升深度学习模型预测准确度与训练速度的新型模型学习技术。

深度学习模型的学习过程由反复优化模型参数的步骤构成。每次迭代都会从训练数据中选取部分数据用于优化,此时选出的数据样本称为批次(batch)。

由于随机选择批次并不能始终保证最高准确度,为改善这一问题,近来人工智能学界正积极开展关于更优批次选择方法的研究。

李教授研究团队开发的技术,能够配合深度学习模型的学习进展情况构成最优批次。就读于KAIST知识服务工程研究生院的博士生宋焕俊为第一作者,博士生金敏石与金善东博士分别为第二、第三作者。

本次研究成果将于23日在数据处理与分析领域的国际知名学术会议“国际计算机学会信息与知识管理会议(ACM CIKM·Association of Computer Machinery International Conference on Information and Knowledge Management)2020”上发表。

在批次选择中,须有效选出对当前模型学习阶段最有帮助的数据。为判断是否有帮助,李在吉教授团队开发的方法利用该数据以往的推断结果。

若各阶段推断结果非常一致,可视为该数据过于简单而持续答对,或相反过于困难而完全答不对。这类数据可以说绝不会带来帮助。反之,若最近几个阶段的推断结果并不那么一致,说明对该数据的推断正处于混乱状态,因此是当前时点必不可少的数据。

论文标题中的“Carpe diem(把握当下)”源自贺拉斯的拉丁语诗句,因电影《死亡诗社》引用而知名。通常译为“抓住现在(Seize the day)”,研究团队认为这很好地说明了所提方法论的理念——即选择最近几个阶段当前推断结果不确定的数据,故在论文标题中加以使用。

研究团队将新开发的批次选择方法论命名为“最新偏差(Recency Bias)”,并将其应用于图像数据中广泛使用的各种卷积神经网络(CNN)的训练。结果显示,与现有方法论相比,在预测准确度(图像分类问题)上最多减少21%的误差,在训练速度(深度神经网络微调问题)上最多缩短59%的时间。

第一作者、博士生宋焕俊表示“本次研究是深度学习的核心技术”,“可广泛应用于各种深度神经网络,将有助于深度学习整体性能的改善”。

指导研究团队的李教授也期待道:“若该技术被加入TensorFlow或PyTorch等现有深度学习库,将对机器学习与深度学习学界产生巨大的连锁效应。”

/大田=朴喜润记者 hypark@sedaily.com

阅读韩文原文