谷歌于15日(当地时间)公开了自主研发的多模态人工智能(AI)模型“Gemini 1.5 Pro”。
Gemini按学习规模分为Ultra、Pro、Nano,当天公开的Gemini 1.5 Pro是与谷歌最新AI模型“Gemini 1.0 Ultra”水平相近、可生成文本、图像、语音、视频的中型多模态模型。
谷歌解释称,Gemini 1.5 Pro相比现有的1.0 Pro,同时处理信息的能力大幅提升,理解长上下文的能力出色。
实际上,Gemini 1.5 Pro具备最多100万个token的处理能力。这大幅超越了现有1.0 Pro所能处理的3.2万个token规模。AI模型一次能够处理的信息量被称为“上下文窗口”,它由具有单词、图像、视频等含义的“token”为单位构成。
Gemini 1.5 Pro可一次处理相当于1小时时长的视频、11小时时长的音频文件、3万行以上的代码、70万单词以上文本的庞大信息。
例如,在给出超过400页的阿波罗11号登月任务相关文档时,它能推理出文档全部内容、图像和细节信息。此外,在展示美国演员巴斯特·基顿的无声电影时,它能分析影片结构与事件,并识别出容易被忽略的细节并加以说明。
Gemini 1.5 Pro还具备基于上下文的学习能力。例如,在让其学习濒危语言卡拉曼语的语法书后,它能以接近人类水平的英语进行翻译。
Gemini 1.5 Pro将通过面向开发者的AI开发工具“Google AI Studio”和企业可利用AI模型的平台“Vertex AI”以预览版形式提供。
今后谷歌计划在正式版本中提供具备基础12.8万个token上下文窗口的Gemini 1.5 Pro。此外还计划在近期公开随上下文窗口扩展而推出的多种购买选项。






