“FIFO-Diffusion是能够大幅降低内容制作成本与时间的技术。借助生成式人工智能(AI)可轻松制作长视频,将极大提升产业现场的效率,并在此基础上开启新的商业模式和市场。”
由韩国科学技术情报通信部主办、韩国研究财团与Seoul Economic Daily共同承办的“本月科学技术人奖”10月获奖者、首尔大学电气与信息工程系教授韩宝亨1日如此阐释其最新成果FIFO-Diffusion的意义。他还表示:“今后将反映物理定律,发展为更加精确、自然的实用型视频生成技术。”
科学技术信息通信部与韩国研究财团借“2025人工智能周(9月30日—10月2日)”之际,以其在计算机视觉领域提升世界地位的功绩选定韩教授为获奖者。尤其是提出无需额外训练即可生成实际上无限长度视频的新推理算法,获得高度评价。
生成式AI技术如今已从文本、图像、音频扩展应用到视频生成。但视频制作的应用难度依然很高。目前广泛使用的是扩散(diffusion)模型,即先将视频以随机噪点(噪声)模糊化,再反向去除噪声以复原所需场景。该方式近来被用于结合文本描述生成符合条件的图像与视频,但视频越长所需内存呈几何级数增长,难以制作长视频,存在局限。
韩教授提出的FIFO-Diffusion,仅凭新的推理算法、无需大规模训练,便克服了既有视频生成模型的结构性局限。它直接使用预训练模型,并引入像传送带一样按顺序处理帧的“对角去噪(diagonal denoising)”算法,从而将内存使用量保持恒定。在此基础上还加入了将长序列切分为小区间以提升稳定性的“潜在区间分割”,以及利用相对干净的帧改善质量的“未来参照去噪”技术。因此即使是长时间视频也能实现高画质。
该研究于2024年在神经信息处理系统大会(NeurIPS)上发表,受到国际关注。同年还在三星集团人类科技论文大奖赛中获得金奖。此外,韩教授研究团队公开的源代码目前在GitHub上获得超过450个“星(star)”,被全球研究者和开发者广泛使用。在学术上,为视频生成领域高效扩散模型研究奠定了基础;在产业上,验证了在电影、动画、游戏、广告、元宇宙等各类内容制作现场的潜力。
韩教授强调:“仅凭推理算法创新就克服了视频生成模型的固定长度限制和内存瓶颈,这一事实为高效生成模型研究提出了新方向”,“无限长度视频生成这一概念,为具有长期语境的数据生成与分析研究开辟了新的可能性。”他还补充:“可自动生成长时间视频或轻松制作重复场景,从而大幅提高制作效率,也可用于实现元宇宙等实时虚拟环境,还能创造新的商业模式。”
当然课题仍存。包括长序列下的质量维持、训练与推理之间的不一致、面向实时应用的采样轻量化等。韩教授表示:“将把对角去噪也引入训练阶段以减少不一致,并提高采样效率,使其能够接近实时应用”,“将强化条件生成与编辑功能,并反映物理定律,发展为更自然的视频生成技术。”
他的目光超越技术本身,指向社会效用。韩教授说:“科学技术此前在使我们的生活更便利、扩展身体自由方面发挥了重要作用,但我认为今后有助于提升人类精神世界和生活质量的技术更为重要”,“如果科学技术能在心理健康、老年问题、社会问题等领域提供实质性帮助,将非常有意义。”他还补充:“在AI领域也确实存在能够发挥这种作用的技术,我希望开展这一方向的研究。”






