基于全球视频理解的多模态AI技术开发初创公司“Twelve Labs”3日宣布,正式推出新一代视频AI模型“Marengo 3.0”。此次新产品超越单纯“看”视频的层面,是能够综合理解视频场景中文本、语音、动作与情境脉络的新一代视频基础模型,具备Twelve Labs迄今发布的模型中最强大的功能。
Marengo 3.0能够将视频中的台词与数分钟后出现的动作关联解读,并按时间推移追踪事物、行为、情绪与情境变化,实现接近人类水平的视频理解能力。尤其业界首次引入可同时检索图像与文本的“复合图像检索”功能,以及可单独注册“人物”或“产品”进行查找的“专有名词检索”功能。该模型支持36种语言,在全球企业环境中也能稳定使用。此外,通过多次精细测试,还确认了存储成本降低50%、索引速度提升2倍等即时的效率改善。
Marengo 3.0摆脱了以往基于帧的分析或图像与音频模型的简单组合方式,基于为视频理解从零设计的原生基础模型架构,具备在时间与空间上解读整段视频的独特结构。由此可自然把握场景之间的连续性与脉络,对体育、媒体、娱乐、广告等高难度内容的理解能力大幅增强。在公共、安防等视频分析环境中也表现出高准确度。
Marengo 3.0可在各类产业现场立即应用。在职业体育联赛中,可即时检索出特定球员的得分场面或决定性进攻,快速制作精彩集锦。在广播与后期制作领域,可将特定名人的面孔注册为“专有名词”,在数十年的档案中数秒内找到其做出特定动作的画面。在公共安防方面,无需数小时观看全部监控视频,即可快速准确地检索所需画面。在电商领域,也可随时即时检索品牌、产品或主播何时出现、正在做什么。
Twelve Labs首席执行官李在成表示:“全球数字数据的90%是视频,但人工分析耗时过长,依靠现有技术又难以全面掌握,因此此前大多未被妥善利用。”他还表示:“Marengo 3.0是完全突破以往视频理解技术局限的模型,将为企业和开发者提供不同以往的创新标准。”






