REVERSO

REVERSO是一个新颖的基准数据集，用于评估大型语言模型是否能够遵循反事实指令来模拟具有反转表现的角色。该数据集以数学推理为代表性场景，改编自广泛采用的GSM8k数据集。REVERSO旨在通过模拟在数学推理方面具有高表现和低表现的学生，来评估LLM的反事实指令遵循能力。数据集还包括一个交叉设置，其中模型需要额外模拟角色的种族背景，以测试这种背景是否会影响模型模拟反转表现角色的能力。REVERSO is a novel benchmark dataset developed to evaluate whether large language models (LLMs) can follow counterfactual instructions to simulate characters with reversed performance. Adopting mathematical reasoning as its representative scenario, the dataset is adapted from the widely adopted GSM8K benchmark. REVERSO aims to assess the counterfactual instruction-following capability of LLMs by simulating students with either high or low performance in mathematical reasoning. Additionally, the dataset includes a cross setting where models are required to further simulate the racial backgrounds of the characters, to test whether such backgrounds will affect the model's ability to simulate characters with reversed performance.

搜集汇总

数据集介绍

构建方式

REVERSO数据集的构建基于数学推理这一代表性场景，采用GSM8k数据集作为基础进行适配。通过设计两种类型的指令，分别模拟数学推理能力高和低的学生角色，并要求大型语言模型（LLM）在回答数学问题时展现出指定角色的行为特征。数据集进一步引入种族背景作为交叉特征，以评估模型在模拟具有多重特征角色时的表现。

特点

REVERSO数据集的特点在于其专注于评估LLM在遵循反事实指令方面的能力，即模拟与模型默认高性能行为相反的低性能角色。数据集通过数学问题的高、低表现角色对比，以及引入种族背景的交叉模拟，全面考察模型的行为调整能力和潜在的偏见问题。此外，数据集设计了任务准确度（Acc）和对比度（DoC）两个互补的评估指标，从结果和行为两个维度衡量模型的性能。

使用方法

使用REVERSO数据集时，研究者可以通过不同的提示策略（如零样本提示、单样本提示和自我优化提示）来评估LLM在模拟高、低表现角色时的能力。在交叉模拟设置中，可以进一步考察模型在同时模拟表现水平和种族背景时的行为变化。数据集的使用旨在揭示LLM在反事实指令遵循方面的挑战，并为提升模型在多样化角色模拟中的可控性和多样性提供研究基础。

背景与挑战

背景概述

REVERSO数据集由George Mason大学的研究团队于2025年创建，旨在评估大型语言模型（LLMs）在模拟反向性能人物角色时的反事实指令遵循能力。该数据集以数学推理为代表性场景，基于广泛使用的GSM8k数据集构建，要求模型根据高/低数学能力的人物设定生成相应表现的回答。作为首个针对反事实人物模拟的基准，REVERSO揭示了LLMs在突破默认高性能倾向方面的局限性，为教育模拟、虚拟角色开发等应用提供了重要的评估工具。

当前挑战

该数据集面临双重挑战：在领域层面，需解决LLMs难以模拟低能力人物（如常犯计算错误的学生）的问题，这限制了虚拟环境的多样性；在构建层面，存在指令敏感性（提示词顺序影响模拟效果）、种族属性引入的偏差风险，以及模型自我修正机制与低性能要求的冲突。特别当同时指定人物种族时，模型的反事实指令遵循能力进一步下降，准确率差异缩小至5%以内，凸显出多维度人物特质协同模拟的技术难点。

常用场景

经典使用场景

在数学教育领域，REVERSO数据集被广泛用于评估大型语言模型（LLMs）在模拟不同数学能力水平学生时的表现。通过设计高水平和低水平数学能力的学生角色，研究者可以测试模型是否能够准确地遵循反事实指令，模拟出与角色相符的解题行为和错误模式。这种场景特别适用于开发教育辅助工具，帮助教师理解学生在数学学习中的常见困难。

解决学术问题

REVERSO数据集解决了LLMs在模拟反事实角色时的能力评估问题，尤其是在数学推理任务中。通过对比模型在高水平和低水平学生角色下的表现，研究者可以量化模型在遵循反事实指令时的准确性和行为差异。这一研究填补了现有文献中关于LLMs模拟多样化角色能力的空白，并为后续研究提供了基准。

衍生相关工作

REVERSO数据集衍生了一系列相关研究，主要集中在LLMs的角色模拟和反事实指令遵循能力上。例如，一些研究利用该数据集探索了模型在模拟不同种族背景学生时的表现差异，揭示了潜在的偏见问题。此外，其他工作则基于REVERSO的框架，扩展到了更多学科领域，如语言学习和科学教育，进一步验证了反事实指令遵循的普适性和挑战性。