2024-01-19 | 허진 기자

Kakao集团开源发布轻量化多模态大模型“Honeybee”

本页标题和正文均由AI机器翻译,未经人工审校。准确内容请以韩文原文为准。

Kakao Brain于19日表示,已在“GitHub”上公开自主研发的多模态语言模型(MLLM)开源项目“Honeybee”。

Honeybee是输入图像和文本指令(提示词)后以文本作答的模型,是比仅以文本输入输出的自然语言基础大规模语言模型(LLM)更为扩展的模型。

由于提问可同时包含自然语言和图像,它能够描述图像中的场景,或理解并回答有关图文混合内容的问题。例如,向Honeybee输入“两名正在进行篮球比赛的球员”图像,并以英文提问“左边的球员赢得过几次冠军?”,“Honeybee”便会综合理解所输入的图像内容和问题并生成答案。

该模型在“MME”“MMBench”“SEED-Bench”等性能实验(基准测试)中,相较其他已公开模型的公司MLLM取得了最佳性能。特别是在评估感知能力和认知能力的“MME”基准测试中,在满分2800分中获得1977分。

此外,相关论文《Honeybee:面向多模态LLM的局部性增强投影器》已于去年发表在论文公开网站“arXiv”上。论文对该技术解释称:“这是一项处理图像数据、帮助深度学习模型更有效地学习和理解的技术”,“视觉投影器(Visual projector)在连接预训练视觉编码器与大规模语言模型(LLM)方面发挥重要作用,由此可在深化视觉理解的同时利用LLM的能力。”Kakao Brain预计Honeybee今后将被用作有效的教育及学习辅助工具。

阅读韩文原文