人工智能(AI)安全专业企业AIM Intelligence 10日表示,已与宝马集团合作共同开发出首个系统化评估大语言模型(LLM)是否遵守各企业定制化政策的框架“COMPASS”。AIM Intelligence在生成式AI和LLM以及图像·视觉模型(VLM)、语音、多模态系统、物理AI领域推出AI护栏和AI红队解决方案,拥有以接近真实环境的方式验证并阻断诱导模型偏离企业政策与意图的攻击场景的高端技术。
此次推出的COMPASS是系统化评估LLM是否良好遵守各企业特定政策的框架。近来医疗、金融、汽车等各产业领域LLM引入正在加速,但对于AI是否准确遵循企业内部复杂的运营指南和法律约束条件,缺乏客观指标。
实际研究中发现,即便是通过既有标准安全性测试的AI模型,在适用随企业现场情况而变化的复杂规则时,也存在未能正确遵守禁止性规则的问题。为解决该问题,将通过查找并处理解释不明确的条款、相互冲突的规则等验证环节,大幅降低误动作比率。
AIM Intelligence基于近来LLM引入加速的汽车、金融、医疗、教育等8个核心产业中出现的场景,生成了约6000条查询数据,提高了验证的可信度。为使企业能够依据自身政策直接评估AI系统,已将COMPASS框架和数据集在GitHub及HuggingFace上免费公开。该项目由AIM Intelligence与宝马集团牵头,首尔大学、延世大学、浦项工科大学(POSTECH)研究团队共同参与。详细论文已在论文预印本网站“arXiv”上公开。
AIM Intelligence代表柳相润表示:“与仅聚焦一般性视角的AI安全测试不同,COMPASS的特点是从实务视角提高可靠性,确保所有规则得到切实遵守”,“今后也将推出让企业和公共机构能更放心使用AI的现实可行的AI安全应用方案。”






