韩国研究团队开发出克服现有大型语言模型推荐技术局限、能够快速给出最佳推荐的系统,引发关注。
KAIST 17日表示,产业及系统工程系朴赞永教授研究团队通过与NAVER集团的共同研究,开发出一种新的基于大型语言模型(LLM,Large Language Model)的推荐系统技术:提取协同过滤(Collaborative filtering)推荐模型所学到的用户偏好信息,并将其与商品文本一并注入大型语言模型,从而实现高精度的商品推荐。
近来,社交媒体、电子商务平台等提供各种提升消费者满意度的推荐服务。其中,通过注入商品标题及说明等文本来提供商品推荐的大型语言模型(LLM,Large Language Model)技术备受瞩目。
本次研究相比现有研究,在训练速度上提升253%,推理速度上提升171%,商品推荐性能平均提升12%。特别是在用户消费记录有限的少样本(Few-shot)商品推荐中平均性能提升20%,在跨域(Cross-domain)商品推荐中性能提升42%。
此前利用大型语言模型的推荐技术,是将用户消费过的商品名称简单以文本形式列出并注入大型语言模型来进行推荐。例如向大型语言模型提问“用户看过电影《极限职业》《犯罪都市1》《犯罪都市2》,接下来会观看什么电影?”。
与此相对,研究团队着眼的是:除商品标题及说明等文本之外,协同过滤知识,即关于与该用户消费过相似商品的其他用户的信息,对精准商品推荐起着重要作用。
然而,将此类信息简单文本化存在局限。因此研究团队引入了一种轻量化神经网络,从预先训练好的协同过滤推荐模型中提取用户偏好信息,并将其转换为大型语言模型可以理解的形式。
研究团队所开发技术的特点是无需对大型语言模型进行额外训练。此前的研究采用对大型语言模型进行微调(Fine-tuning)的方法,使原本并非为商品推荐而训练的大型语言模型能够进行商品推荐。这会使训练和推理所需时间急剧增加,成为在实际服务中将大型语言模型用于推荐的重大障碍。
与此相对,研究团队没有直接训练大型语言模型,而是通过训练轻量化神经网络使大型语言模型能够理解用户偏好,由此实现了比以往研究更快的训练及推理速度。
指导研究团队的朴赞永教授表示:“所提出的技术是一种新方法,从传统协同过滤模型中提取以往试图用大型语言模型解决推荐问题的研究所忽视的用户—商品交互信息,并传递给大型语言模型,这有望催生对话式推荐系统、个性化商品信息生成等各种高级推荐服务”,并称“不局限于推荐领域,还可以迈向同时使用图像、文本和用户—商品交互信息的真正多模态推荐方法论”。
本次研究由KAIST产业及系统工程系博士生金世仁与KAIST计算机学部毕业生姜洪锡担任共同第一作者,NAVER集团的金东贤博士、梁敏哲博士为共同作者,KAIST产业及系统工程系朴赞永教授为通讯作者,将于今年8月在数据挖掘领域最高权威国际学术会议“ACM SIGKDD Conference on Knowledge Discovery and Data Mining(KDD 2024)”上发表。






