KT开发出用于验证人工智能(AI)是否正确理解各国文化脉络与社会规范的多语言基准。
KT 4日表示,已与全球企业、公共机构和学界共同公开可综合评估大规模语言模型(LLM)安全性与文化敏感性的基准“XL-SafetyBench”。XL-SafetyBench是反映韩国、美国、德国、日本、土耳其、阿联酋(UAE)等10个国家语言与文化特性的总计5500条多语言提示数据集,用于衡量LLM在多大程度上恰当认知并反映各国社会规范与文化敏感性。其特别反映了同一表达或事物在不同文化圈可能被完全不同理解的案例,以精确验证AI模型的安全性与文化敏感性识别能力。
基准设计有全球企业、公共机构和学界专家参与。AI安全企业Aim Intelligence负责反映实际攻击模式的数据构建与审核流程设计等研究工作。微软(MS)基于全球AI服务经验,提出在多样文化与语言环境中评估安全性与文化敏感性的必要性。韩国人工智能安全研究所(AISI)提出了反映各国法律制度与文化特性的评估视角。包括德国慕尼黑工业大学、土耳其安卡拉大学、首尔大学等学界在内的10家机构及所属17名专家也参与了基准设计。KT将其负责制定AI安全性与可信性标准、构建评估体系、开发风险缓解技术的RAI(Responsible AI)专职组织所积累的能力运用于本次研究。
基准评估代码通过AI模型与数据共享平台Hugging Face和开源开发协作平台GitHub公开,任何人均可使用。研究团队利用该基准评估了37种主要LLM,并将载有分析结果的论文公开于论文预印本库arXiv。






