2026-09-10 | 울산=장지승 기자

“识别过敏与口味给出定制答复”…UNIST推出超轻量端侧RAG

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

一项将设备内部存储空间缩减至2400分之一水平、同时又能精确反映用户偏好与特征的端侧人工智能(AI)技术问世。

蔚山科学技术院(UNIST)计算机工程系孔太植教授研究团队10日表示,已开发出端侧检索增强生成(RAG)技术“EPIC”,该技术仅筛选并存储与用户密切相关的信息,从而高速生成定制化回答。此项研究成果已在7月于首尔举行的国际机器学习大会(ICML)上发表。

端侧RAG是不经过外部云服务器,而是检索智能手机或笔记本电脑等设备内部的访问网页或对话记录,并反映到语言模型回答中的技术。虽可减轻隐私侵犯担忧,但由于对积累的数据大多进行存储(索引化),存在过度占用设备内存、检索速度变慢的局限。

研究团队着眼于用户偏好在长期内相对保持稳定这一点,革新了数据存储结构。EPIC将资料与偏好进行嵌入(数值化),先初步过滤语义相似度低的资料,再由语言模型重新审视剩余资料,仅筛选出必要信息。在此过程中,将原文信息与应用该信息的具体“使用指针”结合后压缩存储。例如,有海鲜过敏的用户询问旅行地美食时,系统会将问题与过敏信息关联,提取附有相关指针的资料,从而提出定制化膳食方案。

实验结果显示,存储效率、检索速度和回答质量均大幅改善。在维基百科定制推荐基准(PrefWiki)中,检索用存储空间从原有的648.96MB降至0.27MB,约为原来的2404分之一。4项基准的平均检索时间从96.5毫秒(ms)大幅缩短至3毫秒。在应用“Llama-3.1-8B-Instruct”模型的评测中,EPIC的偏好反映准确度比现有最高性能技术平均高出18.79个百分点。

在实际移动设备运行验证中也证明了性能稳定。研究团队在小型计算机Jetson Orin Nano以及MacBook Pro M4、Galaxy Z Flip6上不联动外部服务器单独运行的结果显示,检索用内存保持在1MB以下,单次检索时间为5.21~29.35毫秒。

此外,即使用户偏好发生变化或新增资料,EPIC也无需重建全部索引,只需选择性更新相关数据,长期运行效率较高。

孔太植教授表示:“这一成果把个性化AI的记忆方式从无条件大量积累转向以价值为中心的筛选”,“将有助于在无个人信息泄露担忧的情况下,以最小内存在日常设备上快速运行的定制化边缘AI实现商用化。”

阅读韩文原文