ai2-adapt-dev/HERM_BoN_candidates

该数据集包含两个配置：alpaca_eval和mt_bench，每个配置下有多个数据文件，分别对应不同的模型输出。数据集中的每个样本包含指令、模型输入、输出、生成器信息和配置参数。数据集主要用于模型评估和推理，提供了详细的安装和运行指南，以及用于虚拟模型推理和BoN评估的脚本。

原始信息汇总

数据集配置

配置名称：alpaca_eval

• 数据文件：
  • 分割：zephyr
    • 路径："alpaca_eval_n=16/zephyr-7b-beta.json"
  • 分割：tulu
    • 路径："alpaca_eval_n=16/tulu-2-dpo-13b.json"

配置名称：mt_bench

• 数据文件：
  • 分割：zephyr
    • 路径："mt-bench_n=16/zephyr-7b-beta.json"
  • 分割：tulu
    • 路径："mt-bench_n=16/tulu-2-dpo-13b.json"

数据格式

数据集以JSON格式存储，包含以下字段：

• id: 数据项的唯一标识符。
• instruction: 指令或问题。
• model_input: 模型输入的格式化字符串。
• output: 模型生成的输出列表。
• generator: 生成该输出的模型名称。
• config: 模型配置参数。
• dataset: 数据集名称。

示例数据项： json { "id": "0", "instruction": "What are the names of some famous actors that started their careers on Broadway?", "model_input": "<|system|> </s> <|user|> What are the names of some famous actors that started their careers on Broadway?</s> <|assistant|> ", "output": [ "1. Hugh Jackman - known for his Tony Award-winning role in "The Boy from Oz" and his performance in "The Phantom of the Opera" ...", "1. Meryl Streep - "A Midsummer Nights Dream" ...", "1. Meryl Streep - She began her acting career on Broadway in the 1976 production of "Henry Millers Colossus and the Boi" and later appeared in "27 Wagons Full of Cotton" and "Tallys Folly".

...", "1. Hugh Jackman - best known for his role as Wolverine in the X-Men movies, Jackman made his Broadway debut in 1996 in "Saturday Night," and gained critical acclaim for his Tony Award-winning performance in "The Boy from Oz."

...", "1. Meryl Streep: The legendary Oscar-winning actress made her Broadway debut in "Trelawny of the Wells" in 1975.

...", "1. Julie Andrews - began her career in the West End before moving to Broadway in the 1950s, starring in shows such as "The Boy Friend" and "My Fair Lady"

...", "1. Hugh Jackman - Known for his roles in films like "The Wolverine" and "Les Miserables," Jackman made his Broadway debut in "Correlli" in 1995 and gained recognition for his performance in "Tittering Classics" in 1997.

...", "1. Hugh Jackman: The Australian actor got his start on Broadway in 1996, playing Gaston in Disneys "Beauty and the Beast." He went on to win a Tony Award for his performance in "The Boy From Oz" in 2004.

...", "1. Hugh Jackman - Known for his Tony Award-winning role in "The Boy from Oz" and his Tony-nominated performances in "Carousel" and "Steel Pier," Jackman has also appeared in blockbuster films like "The Wolverine" and "Les Miserables."

...", "1. Meryl Streep - started her career in 1976 with "Henry Jamess The American Wedding" and gained critical acclaim for her roles in "27 Wags of Dog!" and "A Memory of Two Mondays"

...", "1. Audrey Hepburn - "Gigi" (1951) ...", "1. Hugh Jackman - Known for his roles in "The Greatest Showman," "Les Misu00e9rables," and the X-Men franchise, Jackman began his career on Broadway, earning a Tony Award for his role in "The Boy From Oz."

...", "1. Hugh Jackman - Best known for his role as Wolverine in the X-Men...", "1. Hugh Jackman - known for his Tony Award-winning role in "The Boy from Oz" and starring in Broadway productions like "Carousel," "Kiss Me, Kate," and "The Music Man" ...", "1. Audrey Hepburn: While she is perhaps best known for her film work, Audrey Hepburn began her career on the Broadway stage in the musical "Sylvia Scarlett" in 1950.

...", "1. Hugh Jackman - began his career with the Australian production of "Correlli" and made his Broadway debut in "The Original Sweet Rolls" in 199..." ], "generator": "HuggingFaceH4/zephyr-7b-beta", "config": "top_p=0.9;temp=1.0", "dataset": "helpful_base" }

搜集汇总

背景与挑战

背景概述

该数据集名为'HERM_BoN_candidates'，是一个用于评估语言模型在指令遵循任务中生成多个候选回答的集合，特别针对'Best-of-N'（BoN）评估方法。数据集包含来自不同模型（如zephyr-7b-beta和tulu-2-dpo-13b）的生成结果，覆盖alpaca_eval和mt_bench等子集，每条记录包括用户指令、模型输入、多个候选输出及相关配置，旨在支持模型输出比较和评估研究。