2019-06-19 | 송영규 기자

[走近我们的AI] 提升学习能力的数据增强技术

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

要在抽样调查中获得良好结果,就必须取得能充分反映总体特征的优质样本,并基于该样本建立能很好解释总体的模型。如果用有偏样本建模,可能会像"盲人摸象"一样得出荒谬结果。与统计在许多方面相似的机器学习,其学习结果不仅取决于学习算法,还取决于训练数据的质量,因此训练数据的选择极为重要。

过度拟合于训练数据、在实际应用时结果不佳,被称为过拟合(overfitting)。这类似于考试中同样的题目能做对,但内容稍作改动就做错;要取得好成绩,备考时就要做各种类型的题目以培养应用能力。与人的学习一样,在机器学习中,若想仅用少量训练数据也取得优异结果,就需要通过变换扩充数据、使训练数据能反映实际中多样环境或特征的数据增强(data augmentation)技术。尤其是数据本身难以获得,或为数据标注答案的标注工作极为困难的医疗数据,这种增强技术是必不可少的。

尽管数据增强技术是如此重要的领域,但与网络结构研究或系统参数优化等其他领域的研究相比,却相对被忽视。应用于著名神经网络模型的数据增强技术,也只采用了从大图像中裁剪部分区域、左右或上下翻转、旋转、略微改变尺寸等基础增强手段。

当然,部分企业倾向于采用仅针对自身应用领域特化的增强技术,或者不公开技术。而在2018年,谷歌研究团队发布了自动增强(AutoAugment)技术并受到关注。数据一味增多并不一定带来好结果。只增加相似数据的情况下,可能只会延长训练时间。谷歌团队开发了改进既有问题的系统化增强技术策略,取得了最佳性能,但存在运算时间过长的问题。

在今年的国际机器学习大会(ICML)上,伯克利大学研究团队发布了划时代的增强技术,只需谷歌自动增强技术千分之一的运算量即可实现相近性能。该技术并非尝试所有可能情况,而是有效结合了每隔一定间隔舍弃此前尝试中的差结果、选择好结果的进化算法,以及为避免局限于特定区域的随机搜索方法的优点,从而获得惊人性能,并大幅缩短了运算时间。由于连源代码都已公开,预计明年会在此基础上出现更出色的数据增强技术。

阅读韩文原文