OpenAI与谷歌相继发布的“个性化AI助手”GPT-4o和Project Astra(下称Astra),展现出以往只能在电影中看到的自然对话与视觉识别能力,带来了震撼。实际体验的这两款AI模型尚不完美,但让人立刻感受到,它们比此前在语音、视野识别上碎片化的生成式AI高出一个层级。
14日(当地时间)在谷歌I/O 2024现场体验的Astra,展现了出色的视觉识别能力、记忆力与创造力。把两只狗的照片对着摄像头并分别告知名字后,再展示在别处拍摄的狗的照片,它能识别出是哪一只并说出名字。这意味着不只是识别“狗”,还能记住外形特征与名字。
这次尝试出示恐龙玩偶以及苹果和甜甜圈模型。把恐龙放在甜甜圈上,它就识别不出甜甜圈。这是平面视觉识别的局限。问恐龙想吃什么,它回答“这是玩具恐龙,不能吃东西”。指示“尽可能推测一下”,它答道“应该会选苹果。苹果更甜更好吃”。
把恐龙玩偶放倒使其呈S形后,它开始识别为海马。听它这么说再看,从上往下俯视的样子确实让人联想到海马。虽是识别错误,但也反证了它并非背诵谷歌事先准备的例题,而是通过视觉推测物体。放上蟹玩偶、木琴模型和贝壳,让它创作童话。它编出了一个故事:在海里孤独的蟹遇到了贝壳,说自己只有木琴,于是演奏音乐,两者成为朋友。
OpenAI提前一天公开的GPT-4o目前优先提供语音对话。GPT-4o拥有前所未有的精准韩语语音识别。即使像平常说话那样交谈也没有出错。它以配音员般接近人类的声音作答,即便打断它的回答插话也能无障碍理解。让人感觉是在进行真正有来有往的“对话”。不过,播放音乐并问“知道是哪首歌吗”,它回答“听不到声音,请告诉我歌词”。要求详细说明时,它答道“语音只是以文字形式传达,实际声音听不到”。也就是说并非完整的多模态。虽然对多模态性能仍存疑问,但就目前而言,只能把票投给上市时点更早的OpenAI。谷歌Astra的目标是年底推出。Astra还存在仅支持英语的局限。期待其在推出时扩大支持语言并改善性能。






