韩国国内研究团队在全球首次成功开发出一项名为“图处理模拟”的新概念技术,无需实际存储在信息通信(IT)领域广泛使用的图类型数据即可完成算法计算。由于无需存储数据,即使是1万亿条边的超大规模图,也可用一台PC处理。
KAIST于23日表示,计算机学院金敏洙教授研究团队在全球首次开发出可对1万亿条边的超大规模图在不存储数据的情况下进行算法计算的新概念技术。
如今,在网络、社交网络、人工智能、区块链等广泛领域,对图类型数据的各种算法研究非常重要。然而,由于图数据的复杂性,当其规模变大时,只有具备庞大规模的计算机集群才能进行算法计算。
金教授研究团队开发出从根本上解决该问题的T-GPS(Trillion-scale Graph Processing Simulation)技术。该T-GPS技术的优势在于,无需将图数据实际存储到磁盘,也能像图数据已被存储一样进行算法计算,且计算结果与对实际存储的图进行算法计算完全一致。
图算法是在图处理引擎上开发和运行的。这与在数据库管理系统(DBMS)引擎上开发和运行产业界广泛使用的SQL查询方式类似。
此前,为开发图算法,需先生成并存储合成图,再将其在图处理引擎中加载到内存进行算法计算,采用的是两阶段方法。由于图数据的复杂性,要求将其整体加载到内存,而当图的规模变大时,只有具备大规模计算机集群设备才能开发和运行算法,这是很大的缺点。
金教授团队在合成图与图处理引擎领域每年都在国际最高权威学术会议上发表论文,拥有世界顶尖技术实力,并基于这些技术解决了原有两阶段方法的问题。
即在图数据上,将图算法为计算而访问的部分在极短瞬间实时生成,从而像图数据存在一样进行算法计算。此时,关键技术之一并非随意实时生成图数据,而是按照合成图模型实时生成,使其与生成并存储的结果完全一致。
另一项核心技术是对引擎进行修改,使图处理引擎将实时生成的图识别为真实图,并完全一致地进行算法计算。
金教授研究团队将T-GPS技术与传统两阶段方法进行性能比较,结果确认:传统两阶段方法在由11台计算机组成的集群上只能计算10亿条边规模的图,而T-GPS技术在1台计算机上即可计算1万亿条边规模的图,相对于计算机资源可处理1万倍规模的数据。此外还确认,算法计算时间最多快43倍。
作为通讯作者参与研究的该教授表示:“如今几乎所有IT领域都在利用图数据,研究团队开发的新技术可划时代地提升图算法的开发规模与效率,预计在产业层面将产生非常大的波及效应。”
本次研究由金教授的学生、现任加拿大滑铁卢大学博士后研究员的朴欣灿博士担任第一作者,金教授担任通讯作者,并于22日在希腊哈尼亚以线上方式举行的数据库领域顶级国际学术会议之一IEEE ICDE上发表。
/大田=朴喜润 记者 hypark@sedaily.com






