2025-03-13 | 대전=박희윤 기자

KAIST开发ChatGPT等大型AI模型训练优化仿真

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

韩国研究团队开发出一项技术,可帮助导出提高GPU使用率并降低训练成本的最优并行化配置。

KAIST于13日表示,电气与电子工程学院柳民洙教授研究团队与Samsung Electronics三星综合技术院共同研究,开发出可在大规模分布式系统中预测并优化大型语言模型(LLM)训练时间的仿真框架(以下简称vTrain)。

要提高大型语言模型的训练效率,寻找最优分布式训练策略必不可少。然而可选策略的组合数量极其庞大,且在实际环境中测试各策略的性能需要耗费巨额成本和时间。

因此,目前训练大型语言模型的企业只使用少数经经验验证的策略。这会导致GPU利用效率低下和不必要的成本增加,但由于缺乏面向大规模系统的仿真技术,企业未能有效解决该问题。

为此,KAIST研究团队开发了vTrain,可准确预测大型语言模型的训练时间,并快速探索多种分布式并行化策略。

研究团队在实际多GPU环境中比较了多种大型语言模型训练时间的实测值与vTrain的预测值,验证结果显示,单节点下平均绝对百分比误差(MAPE)为8.37%,多节点下为14.73%。

研究团队与Samsung Electronics三星综合技术院开展共同研究,将vTrain框架和1500多组实际训练时间测量数据以开源形式公开,供AI研究者和企业自由使用。

柳民洙教授表示:“vTrain以基于剖析的仿真方法,探索出相比既有经验式方法可提高GPU使用率、降低训练成本的训练策略,并已开源公开。”他还表示:“通过这一成果,企业将能高效降低超大规模人工智能模型的训练成本。”

该研究成果由博士生方济贤作为第一作者参与,并于去年11月在计算机体系结构领域最顶级学术会议之一的美国电气电子工程师学会(IEEE)与计算机协会(ACM)联合微体系结构国际学术会议(MICRO)上发表。

阅读韩文原文