2024-01-26 | 대전=박희윤 기자

ETRI:输入句子2秒生成图像

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

韩国研究团队将生成式人工智能与视觉智能技术结合,公开了输入句子后2秒即可生成图像的技术。

韩国电子通信研究院(ETRI)26日表示,将向公众公开共5种模型,包括在由句子生成图像方面比OpenAI此前公开的DALL-E 3快5倍的“KOALA”3种模型,以及可调入图像或视频进行问答的对话型视觉语言模型“Ko-LLaVA”2种。由此,超高速生成式视觉智能研究有望获得动力。

首先,“KOALA”模型通过应用知识蒸馏技术,将开源软件模型Stable Diffusion XL的2.56B(25亿个)参数大幅缩减至700M(7亿个)。参数数量大则运算量大,耗时长,服务运营成本也会增加。研究团队将模型规模缩小至1/3,高分辨率图像生成速度比原有提升约2倍,比DALL-E 3快约5倍。

ETRI表示,模型生成速度控制在2秒左右,模型规模也大幅缩减,在近来国内外由句子(文本)生成图像的竞争中,可在仅具8GB小容量内存的低价图形处理器(GPU)上运行。

ETRI自主开发的按参数区分的“KOALA”3种模型已在HuggingFace环境中公开。

实际上,研究团队输入“在月亮下的火星上读书的宇航员照片”这一句子后,ETRI开发的KOALA 700M(7亿个)仅用1.6秒便生成了图像。Karlo(Kakao Brain)耗时3.8秒,DALL-E 2(OpenAI)12.3秒,DALL-E 3(OpenAI)13.7秒。

ETRI还建立并公开了可直接对比体验共9个模型的网站及模型提供网站,其中包括原有开源软件Stable Diffusion模型2种,以及企业公开的BK-SDM、Karlo、DALL-E 2、DALL-E 3等4种。

研究团队还一并公开了对话型视觉语言模型“Ko-LLaVA”,该模型在类似ChatGPT的对话型人工智能上叠加视觉智能技术,可调入图像或视频并以韩语就图像或视频进行问答。

“LLaVA”模型由美国威斯康星大学麦迪逊分校与ETRI研究团队国际合作开发,已在人工智能领域最顶级学术会议NeurIPS ’23上发表,并利用了具备GPT-4水准图像解析能力的开源LLaVA。

研究团队以正作为包含图像的多模态模型替代方案而受到关注的LLaVA模型为基础,开展扩展研究,使其更好地理解韩语,并具备原本不具备的视频解析能力。

此外,还提前公开了自主开发的韩语小型语言理解—生成模型(KEByT5)。公开的模型(330M(Small)、580M(Base)、1.23B(Large)级)应用了可处理新造词和未学习词汇的无token技术。学习速度提升2.7倍以上,推理提升1.4倍以上。

研究团队认为,当前生成式人工智能市场正从以句子为主的生成式模型逐渐转向多模态生成式模型,在模型规模竞争中也将逐渐出现更小、更高效的模型。

ETRI公开该模型的原因在于,模型过大需要数千台服务器,通过缩小模型来促进中小企业使用,从而营造相关市场生态。

研究团队预计,未来在生成式AI代表性公开语言模型上叠加视觉智能技术的韩语跨模态模型将有大量需求。

研究团队说明,本次技术的核心专利是基于知识蒸馏的轻量化Stable Diffusion技术。该技术利用人工智能积累知识,使小模型能够发挥大模型的作用。

ETRI计划在向公众公开该技术后,将其技术转移给图像生成服务、创作教育服务、内容制作及相关企业等。

ETRI视觉智能研究室室长李勇周表示:“今后将通过生成式人工智能技术的多种尝试,公开规模虽小但性能出色的各类模型。将通过全球合作研究摆脱对既有巨型模型的依赖,为韩国中小企业有效利用人工智能技术提供机会。”

美国威斯康星大学麦迪逊分校教授李勇载也表示:“我主导LLaVA项目,通过对抗GPT-4的开源视觉语言模型研究,推进了让更多人能够利用的研究”,“今后还将通过与ETRI的国际合作研究,持续开展多模态生成模型研究。”

研究团队计划,顺应全球生成式人工智能研究从句子输入到句子回应的类型,进一步拓展到以句子回应照片或视频的类型、以图像或视频回应句子的类型,展示世界一流的研究能力。

阅读韩文原文