2018-11-13 | 고광본 기자

[已来到我们身边的AI]数据抽样

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

只要不是字迹极差,我们大多能读出手写文字。我们并未逐一学习每个人的手写体,这是如何可能的?答案在于记忆与学习的差别。与回想密码或人名时那种精确性至关重要的记忆不同,学习通过反复在不知不觉间对每个字的特征形成“一般化”,并以此为基础实现推断。也就是说,通过对印刷字体或身边人手写字的学习掌握每个字的特征后,便能读出形态与样式不同的新手写字。

人工智能(AI)的学习也与此类似。例如,要开发识别手写字的AI,首先选择合适的网络,获取多样的手写样本,再让其学习即可。使用深度学习时,网络会自动从手写字中提取每个字的特征,乍看似乎简单,但即便使用相同的网络,结果也大相径庭。这是因为会受到学习所用数据质量的影响,这与统计相似。

统计从总体中抽取一部分样本,通过分析这些样本来解释总体的特性。要使这种抽样方法奏效,必须选好能够均衡反映总体特性的样本。如果样本偏向一方,利用样本得出的解释就会导向荒谬的结论。

例外数据、优质学习数据

扭曲统计结果使解释变难

应准备不偏向一方的数据

同样,要让AI得出理想结果,准备能够良好实现一般化的多样数据非常重要。要开发能准确识别苹果的AI,就要准备颜色、形状各异的苹果数据。此外,若把容易与苹果混淆但并非苹果的东西(例如桃子或梨)也准备充分,则效果极佳。就像要考好试,既要做各种类型的题目,还要把模拟考试中常错的题目准备好一样。

统计中称为“异常数据(outlier)”的例外数据会扭曲统计结果、使解释变得困难,因此必须准确判断是否为异常数据。同样,在训练AI时,忽略错误数据或严重扭曲的数据再进行学习,有时反而有助于一般化。例如,把任谁看来都确定是桃子的图像误标为苹果的情况。若用这类异常数据进行学习,区分苹果与桃子的标准就会含糊,反而降低识别力,因此最好将该数据从学习中剔除或予以更正。但现实中的问题是,当数据非常多或对特定领域知识不足时,很难判断是否为异常数据。

总之,AI可视为像统计那样,利用较少的学习数据来获得对从未见过的新数据的推断能力的一般化过程。因此,准备同等优质且不含异常数据的学习数据非常重要。

阅读韩文原文