韩国国内研究团队开发出一项技术,可成功将属于稀疏矩阵的2亿条视频观看记录压缩至10千字节(KB)大小,且信息损失比使用现有技术压缩到1千兆字节(GB)时更小。
KAIST 9日表示,金在哲AI研究生院申基正教授研究团队开发出压缩率比现有技术优越50倍以上的稀疏矩阵压缩技术NeuKron。
稀疏矩阵指高比例元素为0的矩阵,电子商务购买记录、社交网络中的好友关系、文档与单词间的包含关系等各类数据都以稀疏矩阵形式存储和利用。
例如,就电子商务购买记录而言,矩阵的每一行对应每位购买者,每一列对应每件商品。每个元素表示该购买者购买该商品的数量。第i行第j列元素对应第i位购买者购买第j件商品的数量。由于每位购买者只购买全部商品中的一部分,因此该矩阵是大部分元素为0的稀疏矩阵。
要高效处理从现实世界数据中获得的大规模稀疏矩阵,压缩技术不可或缺。例如,由1亿名购买者和1亿件商品构成的电子商务购买记录,其矩阵拥有相当于全部购买者数与全部商品数之积的1亿亿个元素。
此外,稀疏矩阵压缩还被用于许多应用问题。例如,许多推荐系统通过对稀疏矩阵进行有损压缩后再复原的过程,推断每位购买者购买每件商品的意愿。同时也基于此时的复原误差来检测和校正异常数据,并通过参数矩阵压缩实现人工智能模型的轻量化。
申教授团队开发出可大幅改善稀疏矩阵压缩率的有损压缩技术NeuKron。NeuKron着眼于现实世界数据中常见的自相似性,自相似性指放大观察对象的一部分时,会呈现与对象整体相似的图案的性质。
NeuKron大致由三个阶段构成。第一阶段是重新排列行与列,使矩阵具有自相似结构;第二阶段是通过对重排后的矩阵进行递归分解,将矩阵的每个元素编码为位置数列。最后一个阶段是以各位置数列为输入,训练推断矩阵元素值的循环神经网络。此时,循环神经网络基于矩阵的自相似性进行准确推断。
申教授团队的NeuKron技术不仅可用于稀疏矩阵,也可应用于稀疏张量的压缩。如果矩阵是由行和列构成的二维数据,那么张量就是把矩阵推广到三维以上。例如,三维张量是矩阵垂直堆叠的形态。实际使用包含矩阵与张量的10个现实世界数据集进行验证的结果显示,在相同复原误差下,NeuKron的压缩率比现有技术优越50倍以上。
KAIST金在哲AI研究生院博士生权泰亨、KAIST金在哲AI研究生院硕博一体课程高智勋为共同第一作者,全北大学郑镇洪教授作为共同作者参与,该研究成果将在今年5月于美国奥斯汀举行的美国计算机协会网络学术大会(ACM WWW)上发表。
申基正教授表示:“多种现实世界数据以及人工智能模型的参数都以稀疏矩阵的形式表现”,“期待稀疏矩阵压缩技术能够应用于推荐系统、异常检测、人工智能模型轻量化等多个领域。”






