2025-04-09 | 정혜진 기자

AI服务器每台6亿……以最优组合削减建设成本[规模化报告]

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

生成式人工智能(AI)热潮之后,AI模型训练与推理所必需的英伟达图形处理器(GPU)出现一货难求的局面,许多企业随即开始“盲目抢购”。心态是先拿到手,之后再考虑。随着GPU和服务器采购量增加,随之而来的烦恼是“投资回收”。一台可插入8张GPU的服务器约为5亿~6亿韩元,但相比投资额,利用率偏低,这是许多企业面临的难题。

AI基础设施初创公司Ten为有这类困扰的企业推荐最优的AI基础设施组合。不仅如此,在AI模型进行训练时,它把多张GPU捆绑为一个整体以“最大容量”运行,而在推理时又将其切分,帮助实现“最小使用”。国内竞争对手只被提到Lablup一家,业界表示,在全球范围内AI基础设施初创公司也很少见。

“我们把多种AI基础设施配置标准化,先做出多个最优配方,再针对每个客户提出最合适的配方。”

Ten代表吴世镇(音)9日在首尔驿三洞公司办公楼接受采访时如此定义Ten的角色。业界称之为“AI编排(Orchestration)”。即根据所需AI模型的规格与用途,推荐并配置所需的硬件与基础设施组合,帮助客户立即投入使用。为此,公司在GPU领域与英伟达,在高性能计算(HPC)存储领域与IBM、NetApp,在服务器OEM方面与惠普、戴尔等签署了合作关系。每有新产品推出,公司会在国内率先试用并制定最优组合。

Ten的客户大致分为两类。第一类是已经拥有AI基础设施、但在管理上感到困难的客户。业务部门不断要求追加投资,于是购买了每台服务器价值5亿~6亿韩元的设备,但难以检查这些设备是否被充分使用,因而找上Ten。第二类客户是为新建基础设施而来的企业。例如,想运营基于Meta的Llama模型的自有系统,但希望了解需要多少流量、为承载所需流量至少要配备多少基础设施的客户。

Ten的优势领域在于,为AI模型训练把多张GPU和多个节点“捆绑”起来,使其像一个整体一样运行,从而发挥最大性能。同时,对于AI推理,则采用切分GPU的方式,使较少的GPU资源也能完成任务。简单来说,就是在训练阶段尽可能提高GPU使用率,在AI推理与运营阶段把基础设施用量降到最低,从而实现“经济效率”。今年1月中国的DeepSeek在AI推理领域以低成本取得良好成果之后,对AI推理模型的需求迅速增长。尤其是Ten可将1个GPU切分至百分之一单位使用的技术受到关注,投资者也作出回应。例如,如果多个团队同时进行AI推理作业,就为他们把每个GPU分成100个区块,按优先级和重要性分配一定区域。吴代表解释称:“通过GPU切分功能,只使用服务器资源的十分之一也能运营服务”,“相当于最多可削减90%的成本”。实际上,2023年11月,公司为国防部下属最大研究机构韩国国防科学研究所构建了用于深度学习运算的高密度GPU集群计算系统,可靠性得到验证。客户包括LG电子、KB国民卡、Hanwha Systems等企业,以及延世大学、西江大学、汉阳大学、成均馆大学等高校。Ten本月初从LG U+、KDB产业银行、Quantum Ventures Korea等处获得了70亿韩元规模的A轮投资。

在延世大学电气电子工程系完成博士课程的吴代表投身AI基础设施而非AI模型,在周围人看来是出人意料的选择。在语音识别领域声名在外的延世大学数字信号处理与人工智能实验室,培养出包括AI音频初创公司Gaudio代表吴贤午在内的许多AI研究者。其中相当多人选择了AI模型方向。但吴代表不同。他以专业研究人员身份服役的2016年,正是谷歌DeepMind开发的AI“AlphaGo”多次战胜李世石九段、AI热潮正式开始的一年。由于在为企业开发AI模型的系统集成(SI)公司工作,他因AI专业出身而承担了各种业务。他说:“当时为解决从莱纳生命到LG电子等各类企业的问题开发AI服务,但最终搁浅”,“通过AI服务每年可节省的成本约为5亿韩元,而基础设施建设要花20亿韩元,最终成本成了问题。”那时他体会到的是,把好的AI模型建成成本高效的基础设施,其重要性不亚于模型本身。他还表示,当时他也预感到今后硬件和基础设施将成为核心。此后在2020年7月创办Ten时,周围的怀疑目光多于支持。“为什么要走别人都不走的路”“AI模型才是第一位的”等看法不少,但5年后情况发生了变化。如今公司在AI基础设施领域拥有无可比拟的实力,成为该领域的人才培养基地。

在全球范围内,包括近期被英伟达收购的Run:ai在内,AI基础设施公司也只有几家。创业后近5年在国内打下基础,接下来的5年他打算集中敲开全球市场大门,成为世界市场的强者。吴代表强调:“在国内我们已与S-Net System等19家企业建立合作关系,正在与全国各地的客户接洽”,“在海外,目标是把属于我们自己的渠道网络、培训项目、营销管理等做成体系并立即应用。”据介绍,Ten以谷歌开发的开源容器编排工具Kubernetes为基础,而这也是OpenAI采用的标准,因此扩展性极高,在海外也能快速落地。

Ten的目标并不是要做出最好的AI,而更接近于让所有人都能使用AI。因此其主要客户并非少数能够购买英伟达数据中心解决方案SuperPOD并直接获得管理服务的大企业,而是从初创公司到中小、中坚企业等处于盲区的企业。吴代表强调:“我们把精力集中在让大家以较少成本快速引入AI、创造价值并让更多人共享”,“虽然不像AI模型那样引人注目,但我们会在‘后端’切实扮演好支撑的角色。”

阅读韩文原文