韩国科研团队将用于存储海量信息并按需检索、管理的系统总称——数据库管理系统(DBMS·DataBase Management System)的性能提升至世界最高水平。
KAIST于23日表示,计算机学院金旻洙教授研究团队开发出大幅提升数据库查询语言SQL(Structured Query Language·结构化查询语言)处理性能的世界最高水平DBMS技术。
金教授研究团队以与现有DBMS完全不同的方式处理作为数据处理行业标准的SQL查询,开发出性能比现有OmniSci DBMS最高提升88倍的新技术。该技术还可应用于Oracle、Microsoft SQL Server、IBM DB2等其他DBMS,预计可广泛用于需要高性能SQL查询处理的各类场景。
大多数DBMS在处理SQL查询时,内部采用将数据表排列成“左深二叉树(left-deep binary tree)”形态进行处理的方法。过去数十年商用化的大多数DBMS,由于数据表可能的排列分支数呈指数级增长,因而将其排列成“左深二叉树”形态来处理SQL查询。
当任意两个表通过被称为主键(primary key·PK)与外键(foreign key·FK)的关系进行结合(连接运算)时,这种方法可以有效处理SQL查询。其中主键是能够唯一识别每一数据行(row)的列(column),外键则不具备该特性。
过去数十年间,产业中使用的数据库结构日益复杂,两个表并非以PK-FK关系、而是以FK-FK关系即外键与外键的关系结合的复杂SQL查询不断增多。在实际衡量DBMS性能的行业标准基准测试TPC-DS中,整体基准的26%由此类复杂SQL查询构成,机器学习、生物信息学等多个领域中此类复杂SQL查询的使用也呈逐渐增加趋势。
此前推出的DBMS是在两个表主要以PK-FK关系结合的假设下开发的,因此在处理需要FK-FK结合的复杂SQL查询时非常缓慢,甚至屡屡处理失败。
金教授团队为解决该问题,开发出不将表排列为一个庞大的“左深二叉树”,而是将多个小型“左深二叉树”用“n元连接运算符”捆绑起来进行处理的技术。其核心在于在每个“小二叉树”内排列表时不产生FK-FK结合关系。
将各个“小二叉树”的处理结果通过“n元连接运算符”结合以求得最终结果也被视为难题,研究团队以“最差–最优(worst-case optimal)连接算法”的方法解决了这一问题。
“最差–最优连接算法”是处理图数据时理论上被认为最优的算法。金教授研究团队在世界上率先将该算法应用于SQL查询处理,成功攻克难题。
金教授研究团队将新开发的DBMS技术应用于基于GPU的DBMS开发企业美国OmniSci公司的产品,结果性能比OmniSci DBMS最高提升88倍。同时在TPC-DS基准测试中,也确认比具备世界最高水平性能的现有商用DBMS快5至20倍。TPC-DS是衡量DBMS性能的行业标准最新基准测试。
作为通讯作者参与研究的金教授表示:“研究团队开发的新技术可应用于大多数DBMS,预计在产业层面的带动效应将非常大。”
本次研究由金教授的学生、现就职于美国OmniSci公司的南允旻博士担任第一作者,金教授担任通讯作者,研究成果于18日在美国俄勒冈州波特兰举行的数据库领域顶级国际学术会议“SIGMOD”上发表。
/大田=朴熙润记者 hypark@sedaily.com






