新芒x 2月21日消息 在最新的一份人工智能聊天机器人的众包排名中，谷歌的 Gemini Pro 目前排名第二，仅次于 OpenAI 的 GPT-4。
Gemini Pro 由 DeepMind 和 Google Research 开发，是 Google Gemini 系列中的中型型号，为以前称为 Bard 的聊天机器人提供支持。
大型模型系统组织 (LMSys) 去年 5 月推出了 Chatbot Arena，通过众包盲测对大语言模型进行 Elo 式排名。LMSys 研究小组由加州大学伯克利分校、加州大学圣地亚哥分校和卡内基梅隆大学共同成立。
工作原理：用户提交提示，比较两个模型的匿名回复，然后投票选出更好的一个。该排名基于国际象棋中流行的 Elo 评级系统，经常更新并在线提供。截至 12 月，LMSys 已收集了 45 个模型的超过 130,000 个盲配对评级。
数据显示：自一年前该模型发布以来，OpenAI 的 GPT-4 的各个版本一直占据着排行榜的主导地位。但谷歌的 Gemini Pro（之前的 Bard）和巴黎 Mistral AI 的 Mistral-Medium 近几个月的排名有所上升。
一月份，Gemini Pro 超越了 OpenAI 的较旧 GPT-4 模型 (0314)，以超过 1200 分的成绩成为 LMSYS 排行榜上得分第二高的聊天机器人，这是之前只有一个其他模型实现的里程碑。GPT-4 和 Gemini Pro 的性能继续优于 Anthropic 的 Claude 模型和阿里巴巴的 Qwen 模型等的所有版本。
