韩国国内研究团队将处理当今人工智能深度学习模型所必需使用的机器学习系统性能提升至世界最高水平。
KAIST20日表示,计算机学院金敏秀教授研究团队开发出可大幅提升机器学习系统性能的世界最高水平矩阵运算符融合技术(别名FuseME),该系统是学习或推理包括深度学习模型在内的机器学习模型所必需使用的。
当今广泛应用于各产业领域的深度学习模型大多通过谷歌TensorFlow或IBM SystemDS等机器学习系统处理,随着深度学习模型规模越来越大、该模型所使用数据规模越来越大,能够顺畅处理这些内容的高性能机器学习系统的重要性也越来越大。
一般来说,深度学习模型被表现为由矩阵乘法、矩阵求和、矩阵聚合等众多矩阵运算符构成的有向无环图(Directed Acyclic Graph·DAG)形态的查询计划,并由机器学习系统处理。当模型和数据规模较大时,DAG查询计划通常在由众多计算机构成的集群中处理。与集群配置相比,若模型和数据规模变大,则存在处理失败或耗时过长的根本性问题。
此前为处理更大规模的模型或数据,主要采用单纯增加计算机集群规模的方式。
但金教授团队着眼于问题根源在于将构成DAG查询计划的各矩阵运算符所生成的一种"中间数据"存储于内存或通过网络通信传输至其他计算机,因此开发出世界最高性能的融合技术FuseME(Fused Matrix Engine),将多个矩阵运算符融合(fusion)为一个运算符,以避免存储中间数据或将其传输至其他计算机,从而解决了问题。
迄今为止的机器学习系统仅使用低水平的运算符融合技术。它们仅融合除最复杂的矩阵运算符——矩阵乘法之外的其余运算符,性能改善有限;或者将整个DAG查询计划简单地作为一个运算符执行,因内存不足导致处理失败,存在这些局限。
金教授团队开发的FuseME技术,在由数十个以上矩阵运算符构成的DAG查询计划中,基于成本判别哪些运算符相互融合能产生更优性能并归为一组,同时综合考虑集群配置、网络通信速度、输入数据大小等因素,将各融合运算符组融合为称为CFO(Cuboid-based Fused Operator)的运算符,使其不会因内存不足而处理失败,并在理论上能发挥最优性能,从而克服了局限。此时,将矩阵乘法运算符也包含在内进行运算符融合是核心所在。
金教授研究团队将FuseME技术与此前被认为是最高技术的谷歌TensorFlow和IBM SystemDS进行比较评估,结果显示深度学习模型的处理速度最多提升8.8倍,并成功处理了TensorFlow和SystemDS无法处理的规模大得多的模型及数据。此外还确认,FuseME的CFO融合运算符与此前最高水平的融合运算符相比,处理速度最多提升238倍,网络通信成本最多降低64倍。
金教授团队早在2019年就针对超大规模矩阵乘法运算开发出DistME技术,其性能和处理规模远超此前世界最高技术IBM SystemML和超级计算领域的ScaLAPACK,并在数据库领域最高国际学术会议之一ACM SIGMOD上发表。此次的FuseME技术是为实现运算符融合而将DistME进一步发展的成果,展现了以世界最高水平技术实力持续引领该领域的佳绩。
金教授表示,"研究团队开发的新技术能够划时代地提升深度学习等机器学习模型的处理规模和性能,预计在产业层面的波及效果将非常大"。
此次研究中,金教授的学生、现为GraphAI初创公司共同创始人的韩东亨博士为第一作者,金教授为通讯作者,研究成果已于16日在美国费城举行的数据库领域最高国际学术会议之一ACM SIGMOD上发表。






