2025-01-08 | 진동영 기자

SKShieldus发布《大模型应用漏洞检测指南》

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

SKShieldus8日表示,为前瞻性应对人工智能(AI)安全威胁,已发布《大语言模型(LLM)应用程序漏洞诊断指南》。

OpenAI的ChatGPT、谷歌的Gemini等基于LLM的应用正在各行业广泛使用。但有观点指出,这些应用由于数据及用户输入处理方式的独特性,易受到与现有信息技术(IT)系统不同的安全威胁。

SKShieldus将“基于AI的黑客攻击增加”列为今年主要安全威胁因素之一,并预测针对小规模语言模型(sLLM)的黑客攻击以及利用LLM结构性漏洞的数据操纵、泄露攻击将加剧。此次指南包含了前瞻性应对这些威胁的措施。

指南涵盖LLM集成、代理、模型三大核心领域的安全议题。特别是将14项主要漏洞按风险程度分为3个等级,提出了检查方法与应对方案。其中提及的代表性安全威胁包括恶意操纵用户输入值的“提示注入”和更改应用编程接口(API)请求值的“API参数篡改”等。

指南强调,为预防此类安全威胁,应将用户与系统指令(提示)分离,并强化数据流检查及数据验证流程。同时建议根据LLM是否执行代码,利用沙箱防止恶意代码运行;在使用检索增强生成(RAG)时,建立分组权限管理体系以阻断无权限的数据访问。还建议引入多层安全体系。

指南可在SKShieldus官方网站免费下载。

SKShieldus网络安全部门负责人(副总裁)金炳武表示:“AI技术带来便利,但因技术上的不稳定,一旦安全漏洞被恶意利用,可能引发严重的黑客攻击事故”,“此次指南有望在事前预防企业和机构可能面临的AI安全问题的同时,为构建可信赖的AI系统提供实质性帮助。”

阅读韩文原文