人工智能(AI)模型轻量化与优化技术专业企业Nota于27日表示,已与Upstage共同公开“Solar Open2”专用轻量化模型。Solar Open2是聚焦于实现可用于文档工作、编程、工具调用、多阶段推理等实际企业业务的智能体AI的大规模语言模型(LLM)。它共有2500亿个参数,实际运行时仅激活所需的150亿个,采用“专家混合(MoE)”结构。
Nota为提升Solar Open2的运算效率,应用了△基于数据的MoE量化△路由感知型MoE量化△非均匀全局剪枝技术。由此,Nota成功将原始模型的权重内存从500.6GB削减至117.8GB,降幅约76.5%。按内存容量计算,原本需要8张英伟达H100图形处理器(GPU)的原始模型,经优化后可在2张的环境下运行。量化之后,Solar Open2作为智能体AI核心功能的工具调用仍保持稳定。这意味着不仅是单纯缩减模型容量,而是实现了可用于实际企业业务水准的优化。
Nota首席技术官(CTO)金泰浩表示:“此次成果的意义在于,把大规模MoE模型优化为企业可实际引入的形态”,“为使企业能够依据自身基础设施与预算引入智能体AI并扩大应用范围,我们将持续升级针对模型结构与硬件环境优化的量化及轻量化技术。”






