人工智能(AI)初创企业Trillion Labs以开源形式公开了从零开始通过预训练方式开发的大规模语言模型(LLM)“Tri-21B”。其特点是参数规模比前作扩大三倍以上,同时具备可在1张GPU上运行的轻量性。
据Trillion Labs介绍,Tri-21B并不止于简单的文本生成,而是搭载了针对数学、编程等需要高层次语言理解和分步推理的复杂问题求解进行优化的结构。特别是通过Trillion Labs自主研发的语言间相互学习系统“XLDA(Cross-lingual Document Attention)”,其设计可将资源相对丰富的英语知识转化为韩语、日语等。由此,训练成本较既有模型降低至1/12的水平。
基准测试结果同样值得关注。综合知识(MMLU)得77.93分(应用CoT时为85分),数学(MATH)得77.89分,编程(MBPP Plus)得75.4分。据介绍,这一性能与Meta的LLaMA3、阿里巴巴Qwen、谷歌Gemma等全球中型模型较为相当。在韩语理解方面,Hae-Rae得86.62分,KMMLU得62分(应用CoT时为70分),在文化语境和词汇理解方面尤其获得高度评价。Trillion Labs方面解释称:“Tri-21B应用了将700亿参数级模型的性能有效迁移至210亿参数规模的飞轮结构,实现了成本、速度与性能之间的理想平衡”,“计划与今后将公开的Tri-70B一同完成全尺寸LLM产品组合”。
另一方面,去年8月成立、如今满一年的Trillion Labs是韩国唯一从预训练阶段起自主设计以韩语为中心的LLM的初创企业。该公司团队由来自韩国科学技术院、牛津大学、伯克利、亚马逊、NAVER集团的AI专家组成,今年3月曾率先以开源形式公开“Trillion-7B-preview”。






