用户报告场景(URS)数据集

用户报告场景(URS)数据集是由清华大学和蒙特利尔大学合作创建的，旨在从用户中心的角度评估大型语言模型(LLMs)的性能。该数据集包含1846个真实世界的用户交互案例，涉及7种不同的用户意图，如事实问答、专业问题解决等。数据集通过全球712名参与者的贡献，覆盖了多种文化和语言背景，确保了数据的多样性和实用性。URS数据集不仅用于评估LLMs在满足用户需求方面的有效性，还强调了在主观场景中LLMs的性能，为研究和开发提供了宝贵的资源。The User Report Scenario (URS) dataset was collaboratively created by Tsinghua University and the University of Montreal, aiming to evaluate the performance of Large Language Models (LLMs) from a user-centric perspective. This dataset includes 1,846 real-world user interaction cases, covering seven distinct user intentions such as factual question answering and professional problem-solving, among others. Developed with contributions from 712 global participants, the dataset spans diverse cultural and linguistic backgrounds, ensuring its diversity and practical utility. The URS dataset not only serves to assess the effectiveness of LLMs in meeting user needs, but also emphasizes the performance of LLMs in subjective scenarios, providing a valuable resource for research and development.

搜集汇总

数据集介绍

构建方式

用户报告场景（URS）数据集的构建方式独具匠心，它摒弃了传统以模型能力为中心的评估方法，转而从用户的角度出发，收集了来自23个国家的712位用户在15种不同大型语言模型（LLM）服务上的1,846个真实使用案例。这些案例涵盖了7种用户意图，包括事实问答、专业问题解决、文本辅助、寻求建议、寻求创意、休闲和通过API使用。为了确保数据质量，所有案例都经过第三方人工质量检查。这种构建方式确保了数据集的真实性、多元性和广泛性，能够更全面地反映用户在实际场景中对LLMs的需求和期望。

特点

URS数据集具有几个显著特点：首先，它是以用户为中心的，完全基于用户的实际使用案例构建，能够真实反映用户的需求和体验；其次，它是意图驱动的，根据用户的自选意图进行分类，更贴近用户在实际场景中的使用习惯；最后，它是多元文化的，数据来源于多个国家和地区，涵盖了不同的文化背景，能够更好地评估LLMs在不同文化环境下的表现。这些特点使得URS数据集成为评估LLMs在满足用户实际需求方面的有效工具。

使用方法

使用URS数据集进行评估时，首先需要明确评估的LLM服务和用户意图。然后，根据用户意图选择相应的案例，并使用一个强大的LLM模型（如GPT-4）生成参考答案。接着，将参考答案和待评估的LLM模型的输出一起提供给另一个强大的LLM模型进行评分。最后，根据评分标准给出最终的评分结果。这种评估框架能够自动化、快速且精确地评估LLMs的性能，并且能够根据不同的用户意图进行针对性的评估，从而更好地反映LLMs在实际场景中的表现。

背景与挑战

背景概述

随着大型语言模型（LLMs）在计算机科学领域的发展，如何评估这些模型在满足真实用户需求方面的表现变得尤为重要。传统的评估方法主要关注模型在特定任务上的能力，而忽略了用户在实际场景中的使用需求。为了填补这一空白，王佳音等人提出了用户报告场景（URS）数据集，旨在从用户的角度评估LLMs。该数据集收集了来自23个国家712名参与者的1,846个真实世界用例，涵盖15种不同的LLMs服务，并基于此设计了用户中心、意图驱动和跨文化的评估基准。该研究为评估LLMs在实际场景中的表现提供了新的视角，并对相关领域的研究产生了深远的影响。

当前挑战

URS数据集的研究面临的主要挑战包括：1)如何构建一个能够真实反映用户需求的评估基准；2)如何确保评估过程中不引入对特定LLMs服务的偏见；3)如何处理不同文化背景下用户意图的多样性。此外，URS数据集在构建过程中也遇到了一些技术挑战，例如如何有效地从用户报告中提取高质量的数据，以及如何设计一个能够客观反映LLMs性能的评估方法。

常用场景

经典使用场景

用户报告场景（URS）数据集是针对大型语言模型（LLMs）性能评估的用户中心化数据集。该数据集通过收集来自712名参与者的1,846个真实世界使用案例，涵盖了15种不同的LLM服务，旨在从用户的角度评估LLMs在不同场景下的性能。数据集根据用户意图分为7个类别，包括事实问答、专业问题解决、文本辅助、寻求建议、寻求创意、休闲和通过API使用。这种分类有助于更好地理解LLMs在实际场景中的应用，并为LLMs的评估提供了更精确和针对性的方法。

实际应用

URS数据集的实际应用场景非常广泛，包括但不限于：1. LLMs性能评估：通过URS数据集，研究人员可以评估LLMs在不同场景下的性能，并为LLMs的改进提供参考。2. LLMs开发：开发人员可以使用URS数据集来设计和开发更符合用户需求的LLMs。3. 用户研究：研究人员可以使用URS数据集来研究用户与LLMs的交互方式，并为LLMs的设计和开发提供指导。4. 教育培训：教育机构可以使用URS数据集来培训学生如何使用LLMs，并提高他们的信息素养。

衍生相关工作

URS数据集的发布为LLMs评估领域带来了新的研究方向，并衍生出了一些相关的经典工作。例如，一些研究人员基于URS数据集开发了新的LLMs评估指标，如基于用户意图的评估指标和基于用户满意度的评估指标。此外，一些研究人员还基于URS数据集研究了LLMs在不同文化背景下的表现，并提出了改进LLMs跨文化能力的建议。