2025-02-03 | 송종호 기자

韩国电信技术协会公开面向大模型训练数据的有害表述检测AI模型

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

韩国信息通信技术协会(TTA)3日表示,已构建可对大语言模型(LLM)训练数据检测有害表达的AI模型。该模型作为韩国智能信息社会振兴院(NIA)2024年超大规模AI训练数据质量验证项目的一部分开发。

该AI模型首先判断语料库中句子是否属于有害表达,若为有害表达则进行分类,从而检测语料库的有害性。有害类别依据国家人权委员会的仇恨表达定义《对抗仇恨表达指南》和《仇恨表达定义》等三种类型,共设定11个。该模型结合文本语境分析有害性,因此也能检测不含粗俗用语的有害表达。

已构建的有害表达检测AI模型及训练数据已上传至开源库及AI模型发布平台Hugging Face。利用Hugging Face API,任何人都可以通过该模型轻松分析语料库文本的有害性并净化有害表达。

该模型还一并上传了在分阶段选定过程中考虑过的版本(KoBERT Fine-Tuning),供用户自行选择。用户可通过模型及数据卡查看详细信息和测试结果,按需选择并使用模型。

此前,净化训练用语料数据中所含的各类有害表达并不容易,这也曾引发生成式AI服务的可信性与安全性问题。预计随着此次以开源方式公开的有害表达检测AI模型被广泛使用,更安全、更可信的AI使用基础将得以确立。

TTA会长孙承贤强调:“近来生成式AI技术在各领域广泛应用,对LLM训练用文本数据的需求激增”,“随之社会对LLM技术伦理层面的关注也在提高,尤其是训练用文本中所含的有害表达必须经过净化过程。”

阅读韩文原文