PBIF

PBIF数据集是由复旦大学数据科学研究所创建，用于研究多约束指令遵循中的位置偏差问题。该数据集包含24,000个样本，是通过合成多种任务和约束组合生成的多约束指令。数据集的构建考虑了不同类型的约束，并以难度分布指数（CDDI）来量化不同约束顺序的难度差异。该数据集旨在帮助理解和改善大型语言模型在处理多约束指令时的性能表现。The PBIF dataset was developed by the Institute of Data Science at Fudan University for research on the positional bias problem in multi-constrained instruction following. It contains 24,000 samples, which are multi-constrained instructions generated by synthesizing diverse combinations of tasks and constraints. The dataset construction accounts for various types of constraints, and adopts the Constraint Difficulty Distribution Index (CDDI) to quantify the difficulty differences across different constraint orders. This dataset is designed to facilitate the understanding and performance improvement of large language models (LLMs) when handling multi-constrained instructions.

搜集汇总

数据集介绍

构建方式

PBIF数据集是通过设计一个探测任务来构建的，该任务旨在定量测量多约束指令中约束的难度分布。首先，从三个来源数据集中采样种子指令，并从预定义的约束分类中采样约束。然后，通过重新排序这些约束，构造具有不同约束顺序的多约束指令。最终，通过在单轮和多轮推理场景下对LLM进行评估，来测量不同约束顺序对LLM性能的影响。

特点

PBIF数据集的主要特点是它系统地研究了多约束指令中的位置偏差问题，并提出了一种新的指标CDDI来量化不同约束顺序之间的差异。实验结果表明，现有的LLM在以“难到易”的顺序呈现约束时表现更好。此外，该数据集还提供了一个直观的解释研究，揭示了LLM在处理不同约束顺序的指令时的注意力分配模式。

使用方法

使用PBIF数据集时，首先需要了解CDDI指标的计算方法，并能够根据CDDI值来区分不同约束顺序的难度分布。然后，可以使用该数据集来评估LLM在不同约束顺序下的性能，并探索LLM在处理多约束指令时的注意力分布模式。此外，还可以使用该数据集来研究LLM对多约束指令的适应性，并开发新的模型或方法来改善LLM在多约束指令上的性能。

背景与挑战

背景概述

在大型语言模型（LLMs）在执行多约束指令时，其性能对指令中约束的顺序表现出显著敏感性。PBIF数据集的创建旨在系统地研究多约束指令遵循中的位置偏差问题。该数据集由复旦大学数据科学学院和蚂蚁集团的研究人员共同设计，于2025年2月发布。PBIF数据集的核心研究问题在于，尽管语义上相同的指令，其性能却因约束顺序的不同而有显著波动。这一发现对LLMs的实际应用构成了重大挑战，尤其是在需要理解用户指令并生成期望输出的场景中。PBIF数据集通过对LLMs在处理不同约束顺序指令时的性能进行量化，为理解和改进LLMs的指令遵循能力提供了重要的数据支持。

当前挑战

PBIF数据集面临的主要挑战包括：1) LLMs在处理具有不同约束顺序的指令时，性能波动显著，这表明LLMs在多约束指令遵循中存在位置偏差问题。2) 构建PBIF数据集的过程中，研究人员需要设计一种新的指标——约束难度分布指数（CDDI），以量化不同约束顺序之间的差异。3) 为了全面研究位置偏差问题，研究人员设计了探索单轮和多轮推理场景的探测任务，这要求数据集能够涵盖多种任务和多样的约束组合。4) 现有的LLMs对指令中约束的顺序存在偏好，通常在“难-易”顺序下表现更佳，但这一偏好背后的原因尚不明确。因此，PBIF数据集不仅需要解决LLMs在处理多约束指令时的性能问题，还需要为解释位置偏差提供直观的见解。

常用场景

经典使用场景

PBIF数据集被广泛用于研究多约束指令跟随中位置偏差问题，通过分析不同约束顺序对大型语言模型（LLMs）性能的影响，为改进LLMs的指令跟随能力提供了重要依据。

衍生相关工作

PBIF数据集衍生了多个相关工作，例如：1. 基于PBIF数据集的CDDI指标，可以进一步研究不同类型约束的难度分布，以及如何通过调整约束顺序来提升LLMs的性能；2. 利用PBIF数据集，可以设计更加复杂和多样化的指令跟随任务，以评估LLMs在不同场景下的性能和鲁棒性。

数据集最近研究

最新研究方向

PBIF数据集的研究揭示了多约束指令跟随中存在的位置偏差问题，即在多约束指令中，约束的顺序对LLMs的性能有显著影响。研究发现，当约束按照“难到易”的顺序呈现时，LLMs的表现更为出色。这一发现对于LLMs的实际应用具有重要意义，因为现实世界中的指令通常包含多个不同类型的约束。PBIF数据集通过提出一个创新的困难分布指数（CDDI）来量化约束顺序的差异性，并设计了一个探测任务来研究这个问题。此外，研究还通过梯度方法解释了LLMs在不同约束顺序下的注意力分配模式，这为进一步理解LLMs在多约束指令跟随中的行为提供了新的视角。

相关研究论文

• Order Matters: Investigate the Position Bias in Multi-constraint Instruction Following

  复旦大学数据科学研究所 · 2025年