近来,ChatGPT或DeepSeek等生成式人工智能(AI)程序需学习海量数据,才能得出最优信息。为此需要装有GPU(高性能图形处理器)的庞大计算机系统,而训练使用最广泛的“GPT-4”约需耗费1400亿韩元成本。正因如此,目前许多企业无法100%利用GPU,只能采用少数几种凭经验验证过的策略。这最终又带来GPU使用低效与不必要成本上升的另一问题。
近日,韩国研究团队为克服上述问题,开发并公开了可提高GPU使用效率、大幅降低训练成本的技术。尤其研究团队将相关数据以开源形式公开,引发关注。
韩国科学技术院(KAIST)13日表示,电气与电子工程学院柳民洙教授研究团队与三星综合技术院共同研究,开发出可在大规模分布式系统中预测并优化大型语言模型(LLM)训练时间的仿真框架(以下简称vTrain)。
要提高LLM的训练效率,寻找最优的分布式训练策略必不可少。然而可能策略的组合数量庞大,在实际环境中测试各策略性能需耗费巨大成本与时间。对此,KAIST研究团队开发出名为“vTrain”的技术,可精确预测大型语言模型的训练时间,并为快速探索多种分布式并行化策略开辟了道路。
“vTrain”是预测训练AI模型所需时间的技术,可预测在使用多个GPU时能够多高效地进行分布式训练。研究团队在多种GPU环境下利用“vTrain”进行了实验。结果显示,单节点(8个A100 GPU)误差率为8.37%,多节点(最多512个A100 GPU)误差率为14.73%。
研究团队还将某一大型语言模型的既有训练策略与利用“vTrain”的优化训练策略进行了比较。结果确认,相比既有的经验式方法,GPU使用率可提高10%以上,同时训练成本可节省5%以上。
研究团队此次研究与Samsung Electronics三星综合技术院共同开展,并计划将“vTrain”框架及1500个以上实际训练时间测量数据以开源形式公开,供AI研究人员与企业自由使用。
柳民洙教授表示:“vTrain以基于剖析的仿真方法,探索出相比既有经验式方法可提高GPU使用率、降低训练成本的训练策略,并已公开开源”,“企业借此将能高效节省超大规模人工智能模型的训练成本”。






