财新网

（原标题：大众几十种大模子评测，若何甄别委果度？）

图片来自视觉中国

蓝鲸新闻12月20日讯（记者 武静静）要臆想一个大模子才气是否够强，评测是最径直的维度。大模子评测即是为大模子的一场“试验”，从不同大模子的阐述中，不仅不错臆想现存时间水平，还能匡助识别大模子存在的问题，促进模子开发。

一个梦想的假定是，若是一套大模子评测体系鼓胀科学，就不错一目了然看到国表里大模子才气相互的差距。但执行要比梦想复杂的多，若是把大模子测评看作一场试验，它要面对的大模子考生掌持了多种语言，跨规模学问丰富，且一朝让他习得此次试验的考题，它不错依靠刷分赢得高收货。

几十种大模子评测榜单头晕眼花

据蓝鲸新闻证据公开贵寓统计，大众针对大模子的评测榜单不下于50个，不同机构打造的大模子评测体系也不一样。

每每有东说念主看到戏剧性的一幕，某模子在某个榜单上名次前三，但在一些榜单上却排在后头。这也激发了许多东说念主的质疑，有东说念主称，若是作念不到公正委果，评测的价值就不大。

在这种复杂环境下，若何把大模子评测体系作念的更科学？更有公信力？为此，蓝鲸新闻与国内最早探索大模子评测体系的机构，即智源究诘院联系东说念主士作念了长远同样。

2023年，智源究诘院推出了FlagEval（天秤）大语言模子评测体系，该评测体系隐秘语言模子、多模态模子、语音语言模子等多种模态，并针对不同模态联想相应的评测策画和法子。12月19日，智源再次发布了迭代后新版块的FlagEval，现在FlagEval已隐秘大众800多个开闭源模子，有超200万条评测题目。

为了竖立协调的起跑线，开源模子继承模子发布方保举的推理代码和开动环境。智源究诘院智能评测组矜重东说念主杨熙告诉蓝鲸新闻，评测中，统共闭源大模子题目都是智源通过调用公开的API，以等闲用户的角度来使用大模子，针对每个模子出的题目和探员时势都是一样的。“它可能不知说念在评测，也不知说念是测试数据。”

咱们每每能看到大模子公司都在通过“晒我方在评测榜单中名列三甲”来表现我方的才气地位。而业内，也不乏有些公司一味“刷分”来评释我方的模子才气。

针对一些大模子榜单的刷分动作花式百出，有公司反复提交不同版块的模子直到得到发放的收货截至，也有公司提前获取评测数据集并在教练历程中使用这些数据，从而让模子对测试内容有所准备，导致评测成果不行信得过反馈模子的才气。更有甚者会针对特定评测数据集进行过度拟合，使得模子在这个特定的数据集上阐述得相配好，但在实质运用中却无法达到同样的性能。

此外，由于提醒词等多样客不雅身分，大模子评测如实靠近许多执行的挑战，为了确保评测成果的公正性和可靠性，智源也采用了一系列顺次来幸免大模子在评测中刷分。

杨熙向蓝鲸新闻举了一个例子，在多模态和语言模子的评测中，智源通过引入更难的考题来拉开模子之间才气的差距。更新后的考题使得模子得分中位数从之前的51分降至47分，有用幸免了因题目过于苟简而导致的分数虚高舒坦。

杨熙先容，智源究诘院使用的评测数据集不仅包括来自开源社区的公开数据集，也涵盖了其本身构建的自建数据集，确保模子不会只是针对特定数据集进行优化。

让大模子相互打辩护来一较上下

一个更新颖的时势让大模子相互打辩护，一争上下，来让东说念主直不雅的感受到模子才气的差距。

和传统的评测法子比较，辩护赛条目模子交融辩题、构建论点、反驳对方不雅点，不错更全面地覆按模子的念念辨才气、逻辑推理才气、语言抒发才气等详尽教诲，这有助于促进模子在复杂任务上的才气提高，举例批判性念念维、计谋制定、劝服力等。此前在2018年，OpenAI就提议了一种东说念主工智能安全时间，教练智能体对话题进行辩护，然后由东说念主判断胜负。

智源在现场演示了一场大模子之前的及时辩护赛。其中一场辩题是：“功夫熊猫和孙悟空谁更得当作念队友？”

两个大模子伸开了三轮对话，不仅能反驳对方不雅点，还能旁求博考，话语张力都备。亦然在这些互动中，等闲东说念主更直不雅的感受到了不同模子的才气互异。

更多改革的大模子评测体系正在跟着时间而不休演进。“榜单名次不应行为评价模子的独一表率。”智源究诘院副院长兼总工程师林咏华告诉蓝鲸新闻。

林咏华觉得，用户在选拔模子时，应证据本身需乞降运用场景，详尽探求模子的各项策画，而非只是温和名次。此外，她也提到，评测需要愈加温和模子的实质运用才气。单纯的表面策画并不行完全反馈模子在实质运用中的阐述，评测应愈加靠拢实质使用场景，举例响应速率、用户体验等。

“大模子评测是一个复杂的系统工程，需要行业共同发奋，不休探索新的评测法子，构建愈加高质地的评测数据集，并加强协调，激动协调评测表率的开发，才能更好地促进大模子时间的健康发展。”林咏华牵记说念。