2019-05-21 | 송영규 기자

[走近我们的AI] 给人工神经网络减肥

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

人工智能(AI)技术正在众多领域迅速扩散。其中原因众多,若只举两个代表性因素,那就是开源和开发环境。由于事实上已成为传统的开源政策,人们可以轻松获得符合应用目的的神经网络源代码,像TensorFlow这样用于开发AI的环境(framework,框架)同样可以免费获取,只要上网搜索,详细使用方法也很容易得到。

使用框架的话,即使不了解神经网络如何运作,也可以只调用几个简单函数,或以开源为基础不断改变数值来实现网络。但即便AI给出了良好结果,如果想判断是否最优,或希望把原本在高性能图形处理器(GPU)环境下运行的AI移植到手机、物联网(IoT)设备等相对条件较差的嵌入式(embedded,内置型)环境中,就需要对神经网络有更深入的理解。

作为AI基础的神经网络由多层构成,每一层都有被称为神经元的人工细胞阵列,层与层之间由神经元间的连接线构成。这些连接线非常重要,连接线上有决定神经元之间连接强度的变量,通过学习来调节这一强度。学习之前无法得知连接强度,因此通常用0和1之间的随机值进行初始化。在反复进行学习周期的过程中,让这一数值朝着预期方向逐步变化,由此找出数据中内在的某种模式。但有时也会出现学习效果不佳的情况,这时就必须改变网络结构。

随着层数多的深层神经网络比层数少的网络学习效果更好这一事实被广为知晓,所谓深度学习成为大势,如今甚至会使用层数达数千个的神经网络。但网络越深,连接线的数量也会成比例增加,结果需要确定连接强度的变量增多,这在无法使用高性能GPU的环境中会成为应用AI的障碍。

多项研究结果表明,深层神经网络虽然能取得良好结果,但往往使用了远多于实际需要的变量;若采用剪枝(pruning)去除带有不重要变量的连接线,就能为神经网络“减去赘肉”。正如在不知哪张彩票会中奖的情况下,多买彩票中奖概率就会上升一样,使用深层网络能提高包含最优结果网络的概率,而一旦得出最优结果,之后通过减赘工作缩小网络即可。反复进行剪枝与再学习过程,只用原来的十分之一甚至百分之一也能实现相似性能。如此大幅减少变量数量,便可在运算能力较差的嵌入式环境中也应用AI。

阅读韩文原文