BC CARD19日表示,已成功开发出缩小人工智能(AI)模型体积并提升业务处理速度的“AI量化”技术,并已将其应用于公司内部AI,以提升工作效率。
BC CARD解释称,应用量化技术可以简化AI模型所使用的数字。通过该技术,将模型构成数字的精度从16比特降至4比特,减少了体积与运算负担。BC CARD将其应用于拥有310亿个参数的AI模型。
结果,模型容量从62.5GB(千兆字节)缩减至19.5GB,减少了69%。而在相同的图形处理器(GPU)环境下,韩语生成处理量按每秒可处理的令牌数(TPS)计算从205提升至530,增长近3倍。平均响应完成时间也从24秒大幅缩短至9秒。
虽然容量变小,但AI模型性能保持了98.7%。BC CARD对原始模型和轻量化模型进行了8种性能评估。BC CARD正在为此次获得的技术办理专利申请程序。
该技术不止停留于研发(R&D),还被应用于公司内部业务。自上月起,将该模型应用于公司内部金融专用生成式AI平台“BCGPT”和“MOAI”,增加了可同时处理的业务量。
BC CARD常务吴成洙表示:“我们将把此次技术对外公开,为构建更高效的AI应用环境作出贡献。”






