bench-llms/or-bench

OR-Bench是一个用于评估大型语言模型在拒绝有害提示和接受安全提示方面表现的数据集。该数据集包含多个配置，如or-bench-80k、or-bench-hard-1k和or-bench-toxic，每个配置都包含prompt和category两个特征。数据集的目标是帮助研究人员评估模型在拒绝有害内容方面的能力，并通过图表展示不同模型的表现。

OR-Bench is a dataset designed to evaluate the performance of large language models in rejecting harmful prompts and accepting safe prompts. The dataset includes multiple configurations such as or-bench-80k, or-bench-hard-1k, and or-bench-toxic, each containing two features: prompt and category. The goal of the dataset is to help researchers assess the ability of models to reject harmful content and to visualize the performance of different models through charts.

原始信息汇总

OR-Bench 数据集概述

数据集名称

• OR-Bench

数据集标签

• llm
• alignment
• over-alignment

许可证

• CC BY 4.0

数据集配置

• or-bench-80k

  • 特征
    • prompt: string
    • category: string
  • 数据文件
    • 训练集: or-bench-80k.csv

• or-bench-hard-1k

  • 特征
    • prompt: string
    • category: string
  • 数据文件
    • 训练集: or-bench-hard-1k.csv

• or-bench-toxic

  • 特征
    • prompt: string
    • category: string
  • 数据文件
    • 训练集: or-bench-toxic.csv

任务类别

• 文本生成
• 问答

搜集汇总

数据集介绍

构建方式

在大语言模型对齐研究中，过度拒绝（Over-Refusal）现象日益受到关注，即模型误将安全指令判定为有害而拒绝执行。OR-Bench数据集正是为系统评估这一现象而构建。其构建方式采用自动化流水线，持续生成看似有害实则安全的提示（seemingly toxic prompts），通过精心设计的流程模拟真实场景中可能引发过度拒绝的指令。数据集包含三个子集：or-bench-80k包含8万条广泛覆盖的提示，or-bench-hard-1k精选1千条高难度挑战样本，or-bench-toxic则聚焦于真正有害的提示以作对照。所有样本均以CSV格式存储，每条记录包含提示文本及其所属类别，确保结构简洁且便于处理。

使用方法

使用OR-Bench数据集进行模型评估时，研究者可直接加载其公开的CSV文件，利用HuggingFace Datasets库便捷获取三个子集。评估流程包括：向目标模型依次提交提示，记录其拒绝或接受的响应，然后计算各子集的拒绝率。通过对比or-bench-hard-1k与or-bench-toxic的结果，可量化模型的过度拒绝倾向。此外，数据集配套的在线演示平台（HuggingFace Spaces）允许交互式探索，而雷达图可视化工具则助力深入分析。建议在评估时结合模型的具体版本，以确保结果的可比性和可复现性。

背景与挑战

背景概述

随着大型语言模型（LLMs）在广泛的应用中展现出强大能力，如何确保其生成内容的安全性与合规性成为关键议题。为此，研究者们引入了基于人类反馈的强化学习（RLHF）等对齐技术，旨在引导模型规避有害输出。然而，这一过程催生了一个微妙而严峻的问题——过度拒绝（Over-Refusal），即模型在识别看似有害实则安全的提示时，表现出不必要的保守倾向，错误地拒绝回应。OR-Bench正是在此背景下，由一群关注LLM对齐稳健性的研究人员于近期创建，旨在系统性地量化与剖析这一现象。该数据集的核心研究问题在于揭示当前顶尖模型在面对安全与拒绝边界模糊的提示时，其决策机制的脆弱性，并通过构建大规模、多样化的测试样本，推动对齐策略的精细化发展。OR-Bench的提出迅速吸引了学界与工业界的关注，为评估和优化模型的安全性与实用性平衡提供了重要基准。

当前挑战

OR-Bench所面临的挑战首先根植于其所解决的领域问题：如何精准界定并衡量LLM的过度拒绝行为。这要求数据集能够区分模型对真正有毒内容的合理拒绝与对安全内容的错误拒斥，而后者往往源于模型对安全规则的过度泛化或对语义细微差别的失敏。构建过程中，挑战则更为具体：一是自动化生成大量看似有毒（seemingly toxic）实则安全的提示，并确保其多样性与覆盖度，这需要精密的模板设计与对抗性扰动技术，以避免偏差与重复；二是构建or-bench-hard-1k和or-bench-toxic等子集时，需精细控制提示的毒性模糊程度与类别平衡，以准确反映模型在不同难度下的表现；三是评估指标的设定，如拒绝率（Rejection Rate）的权衡，需兼顾安全性与可用性，避免单一维度误导优化方向。这些挑战共同构成了OR-Bench作为评估工具的核心技术难点。

常用场景

经典使用场景

在大规模语言模型的对齐研究领域，OR-Bench被广泛用于评估模型是否存在过度拒绝（over-refusal）现象。该数据集精心构建了看似有毒但实际安全的提示词，通过测量模型对这些提示词的拒绝率，揭示模型在安全对齐过程中产生的过度保守倾向。研究者利用OR-Bench-80k进行大规模筛查，或使用OR-Bench-Hard-1k进行高难度挑战性测试，同时结合OR-Bench-Toxic验证模型对真正有害内容的鉴别能力，从而全面刻画模型的安全行为边界。

解决学术问题

OR-Bench精准解决了语言模型安全对齐研究中的一个核心矛盾：如何在确保模型拒绝有害请求的同时，避免对安全内容产生不必要的误拒。该数据集通过系统性生成看似有害实则无害的提示，量化了模型过度拒绝的严重程度，为学术界提供了一种标准化评估工具。其意义在于揭示了当前对齐技术可能导致的性能退化问题，促使研究者重新审视安全训练策略的平衡性，推动了更精细化的对齐方法论发展。

实际应用

在实际应用中，OR-Bench可服务于语言模型的安全审计与迭代优化。模型开发商可利用该数据集检测产品在部署前的过度拒绝风险，例如确保客服机器人不会误拒合法用户请求，或内容审核系统不会错误标记正常讨论。此外，该数据集还能辅助训练数据筛选和奖励模型设计，帮助开发者在保持安全性的前提下提升模型的服务可用性，减少因过度保守引发的用户体验下降问题。

数据集最近研究

最新研究方向

在大语言模型对齐研究领域，过度拒绝（over-refusal）现象正成为备受关注的前沿议题。OR-Bench数据集应运而生，聚焦于评估模型在安全对齐过程中对看似有害但实际无害的提示产生的不当拒绝行为。该基准包含OR-Bench-80k、OR-Bench-Hard-1K和OR-Bench-Toxic三个子集，分别覆盖广泛场景、高难度安全提示和真实毒性提示，通过自动化流水线持续生成看似有毒的提示，系统性地量化模型在安全性与可用性之间的权衡。相关工作已对Claude、GPT、Llama、Mistral、Qwen等主流模型家族进行评测，揭示出许多模型在拒绝毒性提示与接受安全提示之间存在显著失衡，尤其在高难度场景下过度拒绝率居高不下。这一研究方向直接关联到大模型部署中的安全伦理挑战，为构建既安全又不过度保守的对齐策略提供了关键评估工具，推动模型在真实应用中实现更精准的风险判断与用户意图理解。