allenai/reward-bench

RewardBench评估数据集用于评估奖励模型在多个类别中的能力，包括聊天、聊天难度、安全性和推理等。数据集包含多个子集，每个子集都有特定的用途和描述。数据集的结构包括提示、选择的响应、拒绝的响应、模型信息、子集信息和唯一ID。数据集还提供了过滤和子集选择的详细说明，以及数据集的许可证信息。

RewardBench is an evaluation dataset designed to assess the capabilities of reward models across multiple categories, including chat, chat difficulty, safety, and reasoning. The dataset comprises multiple subsets, each with specific use cases and descriptions. Its structure includes prompts, selected responses, rejected responses, model information, subset information, and unique IDs. The dataset also provides detailed guidelines for filtering and subset selection, along with its license information.

原始信息汇总

数据集概述

数据集基本信息

• 名称: RM Bench
• 语言: 英语 (en)
• 许可证: ODC-BY
• 大小: 1K<n<10K
• 任务类别: 问答 (question-answering)

数据集结构

• 特征:
  • prompt (字符串): 各种测试集中的指令。
  • chosen (字符串): 来自更好模型的响应或更高评分的提示。
  • chosen_model (字符串): 适用时。
  • rejected (字符串): 得分较低的响应或来自较差模型的响应。
  • rejected_model (字符串): 适用时。
  • subset (字符串): 关联提示的子集（例如 alpacaeval-easy）。
  • id (整数): 基准中每个提示的递增ID。

数据集拆分

• 训练集: 5123个样本，10853788字节
• 过滤后: 2985个样本，4861303字节
• 下载大小: 7957019字节
• 数据集大小: 15715091字节

数据集内容

• 评估类别:
  1. 聊天: 包括简单聊天子集（alpacaeval-easy, alpacaeval-length, alpacaeval-hard, mt-bench-easy, mt-bench-medium）
  2. 聊天困难: 包括困难聊天子集（mt-bench-hard, llmbar-natural, llmbar-adver-neighbor, llmbar-adver-GPTInst, llmbar-adver-GPTOut, llmbar-adver-manual）
  3. 安全性: 包括安全性子集（refusals-dangerous, refusals-offensive, xstest-should-refuse, xstest-should-respond, do not answer）
  4. 推理: 包括代码和数学子集（math-prm, hep-cpp, hep-go, hep-java, hep-js, hep-python, hep-rust）

许可证信息

• 数据集许可证: ODC-BY
• 子集许可证:
  • AlpacaEval: CC By NC 4.0
  • MT Bench: Apache 2.0
  • LLMBar: MIT License
  • Do Not Answer: CC BY NC SA 4.0
  • XSTest: CC By 4.0
  • HumanEvalPack: MIT License
  • PRM Math: MIT License

数据集开发

• 构建要求: datasets, notebook, nbconvert
• 构建命令: python build_dataset.py

此概述提供了RM Bench数据集的关键信息，包括其结构、内容、许可证和开发要求。