12月6日，谷歌发布了万众期待的自研大语言模型Gemini。在此之前，这款产品被期待为谷歌对抗OpenAI的秘密武器，但由于种种原因，Gemini发布的时间一再被拖延。谷歌在官博中介绍Gemini时称，Gemini是谷歌规模最大，能力最强的人工智能模型。

谷歌本次发布的Gemini 1.0共分为Ultra, Pro和Nano三个版本，其中Ultra的能力最强，复杂度最高，能够处理最为困难的任务，Pro能力稍弱，可以用来处理多任务，Nano则更注重于端侧的处理能力。

谷歌表示，Gemini是包括谷歌研究院同事在内的谷歌各团队大规模合作的成果，它从一开始就具有多模态功能，这意味着它可以概括并无缝地理解、操作和组合不同类型的信息，包括文本、代码、音频、图像和视频。

谷歌还称，Gemini也是我们迄今为止最灵活的模型——能够在从数据中心到移动设备的所有设备上高效运行。其最先进的功能将大大增强开发人员和企业客户构建和扩展人工智能的方式。

从12月13日起，开发人员将可以通过谷歌云的API访问 Gemini。谷歌透露，"未来几个月"，Gemini将出现在其他谷歌产品中，包括Pixel 8智能手机、生成式搜索和Chrome浏览器，而Gemini最强大的人工智能版本将在 "广泛的信任和安全检查 "后于2024年正式推出。

Gemini有多强？

• 基本能力

从自然图像、音频和视频理解，到数学推理等任务，Gemini Ultra 在大型语言模型研发被广泛使用的 32 个学术基准测试集中，在其中 30 个测试集的性能超过当前 SOTA 结果。

另外，Gemini Ultra 在 MMLU（大规模多任务语言理解数据集）中的得分率高达90.0%，首次超越了人类专家。MMLU 数据集包含数学、物理、历史、法律、医学和伦理等 57 个科目，用于测试大模型的知识储备和解决问题能力。

根据谷歌公布数据，Gemini Ultra能够在总分、推理、数学和代码层面的多个方面超过GPT-4，仅有在文本处理方面不敌对手。

另外，在更高难度的MMMU基准测试中，Gemini Ultra也取得了59.4%的高分，MMMU基准测试测试的是模型跨领域慎重推理的能力，这也是GPT-4饱受诟病的领域之一。

• 多模态能力

在多模态能力的基准测试中，Gemini Ultra更是全方位碾压GPT-4V。

谷歌表示，我们将 Gemini 设计为原生多模态，从一开始就在不同模态上进行预训练。然后，我们利用更多的多模态数据对其进行微调，进一步完善其有效性。这有助于双子座从根本上无缝理解和推理各种输入，远远优于现有的多模态模型——其功能几乎在每个领域都是最先进的。

• 其他能力

此外，Gemini还具备多项大模型的先进能力，包括复杂的多模态推理能力，同时识别并理解文本、图像、音频的能力以及高级编码能力。根据谷歌介绍，Gemini尤其擅长解释数学和物理等复杂学科的推理。

但是，在当天公布的数据中，谷歌方面并没有透露Gemini Ultra和Gemini Pro的具体参数大小，只是明确称规模最小的Gemini Nano的参数分别为18亿（Nano-1) 和32.5亿 (Nano-2) 。有传言称，Gemini Ultra的参数规模达到万亿级别，训练动用的算力是 GPT-4的5倍以上。

当天，谷歌还宣布了目前为止最强大、最高效、可扩展的 TPU 系统 —Cloud TPU v5p，专为训练尖端的人工智能模型而设计。新一代 TPU 将加速 Gemini 的发展，帮助开发人员和企业客户更快地训练大规模生成式 AI 模型，让新产品和新功能更快地与客户见面。

Gemini真的能超过GPT-4吗？

虽然这次谷歌基本上已经算是把硬刚OpenAI写在了脸上，在公布的多项成绩中也显示Gemini确实要优于竞争对手，但是，事实可能并非如此。

谷歌的DeepMind首席执行官德米斯·哈萨比斯（Demis Hassabis）的确表示，Gemini 在一系列指标上都要优于OpenAI的GPT-4，而事实是Gemini有三个版本，分别是Ultra、Pro和Nano。谷歌本次用于对比的产品仅仅为Gemini Ultra，也就是Gemini的高配版本。 

而根据谷歌官博透露，Gemini Ultra还没有这么快和大家见面，至少要到2024年才会上市，在Gemini Ultra上市之前，谷歌将会开放的版本是Gemini Pro，用户们可以通过谷歌的Bard聊天机器人访问。

这代表，即使谷歌已经做出官方测评，实锤吊打了GPT-4，这件事情和用户也半毛钱关系没有。因为在在未来的一段时间内，用户们根本无法体验到这款“功能强大”的Ultra产品，无法对谷歌的官评做出验证。

那么Gemini Pro和GPT-4相比性能如何呢？根据本次发表的谷歌技术论文显示，Gemini Pro在大多数指标上都优于GPT-3.5，但未能击败OpenAI的GPT-4。

那顺序就应该是这样排：Gemini Ultra＞GPT-4＞Gemini Pro。但是，就算等到明年Gemini Ultra发布，也会有相当一部分人用不上这款强大的产品，因为哈萨比斯已经在博文中透露，Ultra将仅限于Bard Advanced的用户使用。

关于为何Gemini Ultra需要推迟上市，据媒体透露，主要是产品在处理英语语言提示时遇到了困难。

外界怎么评价Gemini？褒贬不一

对于本次Gemini发布，谷歌首席执行官桑达尔·皮查伊（Sundar Pichai）在公告中写道："现在，我们将在Gemini的道路上迈出新的一步，这是我们迄今为止功能最强大、最通用的机型，在许多领先基准测试中都具有最先进的性能。

对此，许多人感到欢呼雀跃，这似乎是人工智能发展史上的又一个里程碑时刻。"宾夕法尼亚大学沃顿商学院教授伊桑·莫利克（Ethan Mollick）在X上兴奋地写道："最重要的是，它似乎是第一个击败GPT-4的模型。

但是，也有不少人对Gemini的“无比强大”持怀疑态度，主要是因为谷歌在官博中提供的数据太少。人工智能公司Hugging Face的研究员亚辛·杰尼特（Yacine Jernite）认为，在长长60页的报告中，仅出现了两段数据，这似乎有些不合常理，相当于强迫市场来相信谷歌。

艾伦人工智能研究所（Allen Institute for AI）的研究科学家杰西·道奇（Jesse Dodge）也称，尽管谷歌声称Gemini的训练数据是其性能的关键，但该公司 "几乎没有提供任何信息，说明这些数据是如何制作的、如何筛选的，以及数据的内容"。