OpenAI的视频生成人工智能(AI)模型Sora公开已过去约两个月,其性能超越了现有视频生成AI模型。据悉Sora基本上运用了扩散Transformer架构。扩散是图像生成AI模型已在使用的方式,即在学习图像数据中加入噪声进行学习,再从完全的噪声中去除噪声,利用学到的相关关系生成图像。
通过规模扩张突破临界点的战略在Sora上也得以体现。规模扩张是基于庞大算力学习海量数据的过程。Sora将时空数据转换为与GPT的token类似的小单位数据集合——patch。因此在学习中不同于现有视频生成AI模型,能够利用具有各种长度、分辨率与比例的数据。
对Sora的期待并非仅基于高性能。重要的是它不止于理解提示词,而是一个理解多个对象在物理世界中如何存在的模拟模型。Sora的出现短期看可加速多模态发展,更可能成为实现通用人工智能(AGI)的重要里程碑。
目前Sora优先提供给少数经筛选的群体并收集反馈。考虑到运行成本与风险,此前普遍预测还需时间,但首席技术官米拉·穆拉蒂预计年内、最快数月内可向大众开放服务。相比图像生成目前确实成本更高,但今后计划将成本降至与DALL-E相近的水平。在ChatGPT上已得到验证的优化能力预计也将应用于Sora。
此外,面对11月美国大选前深度伪造等滥用风险,也已预告将通过禁止生成公众人物图像、标注水印等技术手段正面突破。某种程度上可成为强大杀手级应用的视频生成AI领域,其发展速度正快于预期。






