亚马逊云科技(AWS)3日在年度技术大会“re:Invent”上表示,人工智能(AI)初创企业Twelve Labs正基于AWS技术对其自研基础模型进行升级。
Twelve Labs是开发了视频语言生成模型“Pegasus”和多模态视频理解模型“Marengo”的企业。Pegasus是具备视频摘要、亮点生成等基于视频的文本生成功能的超大规模AI视频语言生成模型。Marengo则是能够将视频中的内容识别为文本并检索视频信息的AI。开发者可利用Twelve Labs的模型构建可实现视频检索、场景分类、摘要、视频片段章节划分的应用程序。内容创作者还可通过自然语言检索,直接找到视频中想要的瞬间。例如,体育转播相关人员可从海量比赛影像中迅速找到想要的画面,教练则可细致分析游泳选手的划水技术、出发台姿势等。Twelve Labs联合创始人、代表李在成表示,“全球约80%的数据是视频形式,但大部分无法检索”,“我们正在解决这一问题,并通过符合语境的视频,以类似人类观看、聆听、理解周围世界的方式提供生动的体验”。他接着表示,“Twelve Labs能够加速模型训练,向全球数千名开发者安全地提供解决方案,并控制计算成本”,“这一切都发生在我们不断拓展使用生成式AI进行视频理解与制作边界的过程中”。Twelve Labs联合创始人兼市场总负责人李素英说明称,“作为构建最前沿多模态模型的企业,我们能够像人一样理解视频语境”,“还为剪辑师和制作者提供了可以解释检索亮点的工具”。
Twelve Labs今年6月获得约5000万美元(约709亿韩元)规模的A轮投资(早期投资)而备受关注。因为全球科技巨头英伟达的子公司NVentures与New Enterprise Associates(NEA)领投。Index Ventures、Radical Ventures、Wonder Co. Ventures等多家全球知名投资机构参与,国内则有韩国投资伙伴参与。累计融资金额达约7700万美元(约1092亿韩元)。
Twelve Labs使用Amazon SageMaker HyperPod训练了能够同时理解视频、图像、语音、文本等多种数据形式的基础模型。AWS还提供了用于优化机器学习性能和落实市场拓展战略的实操专业知识。这是作为扶持初创企业成长的Activate项目的一部分而展开的。
Twelve Labs与AWS就全球扩张签署了为期三年的战略合作协议(SCA)。Twelve Labs计划使用Amazon SageMaker HyperPod提升模型训练能力。并将利用AWS技术,加快开发把自然语言与视频中所发生事件对应起来的基础模型。同时计划将高级视频理解基础模型部署到新的产业领域。通过AWS Marketplace可以顺畅地向全球客户群提供服务。
李代表表示,“全球约80%的数据是视频形式,但大部分无法检索,我们解决了这一问题,并能够通过符合语境的视频,以类似人类观看、聆听、理解周围世界的方式提供生动的体验”,“AWS为我们提供了解决多模态AI课题、让视频更易于获取的计算能力与支持”。李代表还表示,“期待今后与AWS展开更大规模的合作,持续创新并向全球扩张”。
AWS初创企业部门副总裁兼全球负责人John Jones表示,“Twelve Labs通过云技术,将海量多媒体数据转化为可获取、有用的内容,正在推动多个产业领域的改善”,“AWS支持Twelve Labs构建更好地理解并快速制作高相关性内容所需的工具”。






