蔚山科学技术院(UNIST)人工智能研究生院刘在俊教授团队展示了从人工智能(AI)轻量化到设计自动化的AI技术未来。
刘教授团队8日表示,在近期举行的世界级计算机视觉学会ECCV(European Conference on Computer Vision)2024上发表了3篇论文。团队在AI性能最大化、轻量化以及利用多模态AI实现设计自动化方面取得了创新成果。
首先,刘在俊教授团队成功将图像生成AI——GAN(生成对抗网络)压缩至最高323倍,同时实现轻量化且性能不下降。团队运用知识蒸馏(knowledge distillation)技术,展示了在没有高性能计算机的边缘设备或低功耗计算机上也能高效使用AI的可能性。
刘教授表示:“我们证明了压缩323倍的GAN仍能生成与原有水平相当的高质量图像”,“这为在边缘计算或低功耗设备上使用高性能AI开辟了道路”。第一作者余相烨研究员解释称:“这将开启在有限资源下实现高性能AI的可能性,大幅拓展AI的应用范围。”
研究团队引入DiME与NICKEL技术,采用比较分布而非逐张比较图像的方式,提高了稳定性。例如,当教师模型生成金泰熙的图像时,学生模型即使生成宋慧乔或全智贤的图像,也仍可进行学习。
NICKEL技术通过优化生成器与分类器之间的交互,帮助轻量化模型也保持较高性能。两种技术结合后,压缩323倍的GAN模型也能生成与原有水平相同的高质量图像。
此外,刘在俊教授团队还开发出即使在高性能计算资源不足的环境下也能高效生成高分辨率影像的混合视频生成模型(HVDM)。HVDM将2D三平面表示与3D小波变换相结合,可同时处理影像的全局语境与精细细节。
现有视频生成模型依赖高性能计算资源生成高分辨率影像,而HVDM在有限资源下也成功实现自然且高质量的影像,克服了基于CNN的自编码器方式所具有的局限。
研究团队通过UCF-101、SkyTimelapse、TaiChi等视频基准数据集验证了HVDM的优越性。HVDM实现了高于现有技术的视频质量,在自然的影像流畅度与逼真的细节方面表现出色。
刘教授表示:“HVDM是即使在高性能计算资源不足的情况下也能高效生成高分辨率视频的划时代模型”,“有望在视频制作及仿真等产业领域得到广泛应用”。
研究团队还开发出仅用少量数据即可自动生成广告横幅和网页(Web)-UI设计的多模态版式生成模型。该模型可同时处理图像与文本,仅凭用户输入便能自动生成合适的版式。
现有模型因数据不足,无法充分处理文本与图像信息。新开发的模型解决了这一问题,大幅提升了广告设计与网页UI的实用性。它将文本与图像间的交互最大化,自动生成同时体现视觉要素与文本的优化设计。
研究团队将版式信息转换为HTML代码形式,最大限度利用语言模型的预训练数据,构建了即使数据量少也能发挥出色性能的自动生成流水线。基准测试结果显示,性能最高提升2800%。
在预训练过程中利用图像描述数据集,并结合Depth-Map与ControlNet技术,通过数据增强将性能最大化。版式生成质量大幅改善,同时减少了数据预处理过程中可能产生的失真,生成了自然的设计。
刘教授强调:“仅用约5000张的少量数据,就比过去需要6万张以上数据的模型表现更佳”,“不仅专业人士,普通用户也能轻松使用,将为广告横幅与网页UI设计自动化带来重大革新”。
该研究在韩国研究财团(NRF)、韩国科学技术情报通信部(MSIT)、信息通信规划评价院(IITP)及UNIST的支持下完成。研究成果有望进一步拓宽AI在各产业领域的应用可能性,并将性能与效率最大化。






