能实时学习并反映用户细微习惯、喜好乃至说话方式的人工智能(AI)半导体在韩国率先于全球开发成功。
KAIST于17日表示,人工智能半导体研究生院柳会峻教授研究团队开发出可根据用户特性自行进化的个人定制型大语言模型(LLM)加速器“SoulMate”。
研究团队开发的“SoulMate”核心在于不经过外部服务器(云端)、在设备本身处理数据的端侧AI技术。
研究团队将基于所记忆对话内容生成定制化回答的检索增强生成(RAG)技术,以及即时反映用户反馈进行学习的低秩微调(LoRA)技术,直接在半导体内部实现。
由此,“SoulMate”以0.2秒(216.4毫秒)级速度响应用户,并同时进行学习,实现了实时个性化AI系统。
此外,通过采用根据信息重要度优化处理方式的混合秩(Mixed-Rank)架构,大幅降低了功耗。该半导体仅以智能手机处理器功耗1/500水平的9.8毫瓦(mW)超低功耗即可同时执行复杂的学习与推理,因此在智能手机等移动设备上也可无需担心电池续航地运行。
端侧特性尤其意味着所有个人数据不会传输到外部服务器、仅在设备内部处理的“安全自洽型AI”结构,从根本上阻断了个人信息泄露的担忧。
因此研究团队期待该技术今后与智能手机、可穿戴设备、个人型AI设备等下一代平台结合,开启真正的个性化人工智能服务时代。业界评价称,这是超越现有“为所有人的AI”、提前迎来“只为我的超个性化AI”时代的核心半导体技术。
柳会峻教授表示:“本次研究模仿人们彼此建立友情的过程,为AI发展成为用户真正伙伴奠定了技术基础”,“未来的人工智能将超越单纯工具,成为在完美保护个人隐私的同时、随时随地最了解我的‘最好的朋友(Best Friend)’一般的存在”。
由博士生研究员洪成渊作为第一作者参与的这项研究,在自2月16日起于美国旧金山举行的国际固态电路会议(ISSCC)上被选为“亮点论文(Highlight Paper)”,受到全球学界关注。此外,“SoulMate”AI半导体计划通过教员创业企业“OnNeuroAI股份公司”在2027年前后实现产品化。






