基础大模型能像人类一样标注数据吗？

自从 ChatGPT 出现以来，我们见证了大语言模型 (LLM) 领域前所未有的发展，尤其是对话类模型，经过微调以后可以根据给出的提示语 (prompt) 来完成相关要求和命令。然而，直到如今我们也无法对比这些大模型的性能，因为缺乏一个统一的基准，难以严谨地去测试它们各自的性能。评测我们发给它们的指令以及对话模型本身，从本质上来讲就很困难，毕竟用户的评价标准都是围绕对回答的质量的主观感受; 而现有的自然语言处理任务的性能评价标准，却大多局限于特定指标和某些定量标准。

在这一领域，通常当一个新的大语言模型发布时，都会这么宣传: 我们的模型比在百分之多少的情况下优于 ChatGPT。这句话的潜在意思是，模型使用某些基于 GPT-4 的评价标准，在百分之多少的情况下优于 ChatGPT。这些分数实际想表达的是一种不同评价标准的代替方案: 由人类打标者提供的分数。利用人类反馈的强化学习 (RLHF) 大量提供了对比两个模型的接口和数据。这些从 RLHF 而来的数据被用来训练一个奖励模型，用以评判哪个回答是更好的，但为模型输出结果进行打分和排名的这一思想已经演变成了一种更通用的模型评测工具。

这里我们展示一些示例，分别来自我们的盲测数据中的 instruct 和 code-instruct 两个子集合。

从迭代速度来讲，使用一个语言模型去评测模型输出已经十分高效了，但这里遗漏了一个大问题: 有没有调研这个下游的快捷工具是否针对原有的评测形式进行了校准对齐。在本文中，我们将会详细了解: 通过扩展 Open LLM Leaderboard 评测体系，哪些时候你需要相信或不相信你从你选择的大语言模型中得到的数据标签。

现如今，各种排行榜已经开始涌现，比如 LMSYS 以及 nomic / GPT4All 等，用以从各种角度对比模型。但我们仍需要一个更完整的资源，用以对比模型性能。有些人会使用现有的 NLP 测试基准，看一看提问回答的能力; 还有些人会用一些众包的、开放式问答的排行榜。为了为大家提供一个更全面通用的评测方法，我们扩展了 Hugging Face Open LLM Leaderboard，囊括了各个自动化的学术评测基准、专业人员的打标，以及 GPT-4 相关的评测方法。