2026-01-15 | 류석 기자

Elice集团在Hugging Face公开韩语AI教育数据集

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

Elice集团15日表示,已在全球开源平台“Hugging Face”上公开两种韩语教育用数据集。Elice集团计划提供适合韩语AI模型训练的高质量数据,供研究人员、开发者和企业广泛使用,以支持国内外AI研发的活跃发展。

此次公开的数据集由为在学术、教育领域强化大语言模型(LLM)韩语性能而设计的“韩语FineWeb教育数据集演示版”和“韩语网络文本教育数据集”两种组成。

韩语FineWeb教育数据集演示版是将英文教育用网络文本语料库“FineWeb-Edu”翻译为韩语的数据集中,以样本形式构成的5%演示版。它设计用于学术、教育领域的韩语LLM训练,并在大规模训练之前用于验证数据特性与可用性。

该演示版的原始数据“korean-translated-fineweb-edu-dedup”是约1900亿(190B)token规模的大型文本数据集,相当于数千万页的体量。若同时使用多语言数据,其规模可用于基础模型训练。此次公开的韩语FineWeb教育数据集演示版虽仅为其中5%的样本,但在已开源的韩语高质量数据集中属于大规模水平。

一同公开的韩语网络文本教育数据集,是从大规模韩语网络文本中仅筛选通过教育价值评分的内容构建而成。其对事实性、上下文一致性和教育适宜性进行评估,以便用于韩语AI模型训练。

此次数据集公开基于Elice集团在AI基础设施、模型训练以及教育与产业现场应用方面积累的经验。Elice集团计划通过此次数据集公开降低韩语AI研究环境的进入门槛,同时支持教育、研究和公共领域对韩语AI模型的应用。此外,其战略是结合AI基础设施、云计算与数据工程能力,加快韩语专用AI服务和解决方案的开发。

Elice集团CRO金秀仁表示:“Elice集团应用在实际模型训练和服务环境中得到验证的标准,构建了研究人员、开发者和企业更易使用的高质量数据集”,“今后也将基于涵盖数据、模型、基础设施的技术能力,持续为韩语AI研究和产业生态的成长作出贡献。”

阅读韩文原文