anab/ACORN

ACORN数据集包含3500条人类编写和LLM生成的解释，每条解释都有由人类给出的质量评分。数据集的主要字段包括问题、选择、标签、解释、投票评分和工人评分。解释质量评价包括一般评分和细粒度评分，假设理想的解释是流畅、充分、最小化和对比性的。数据集的来源包括ECQA、CoS-E、COPA-SSE等多个来源，每个来源有500个样本，总计3500个样本。

原始信息汇总

ACORN 数据集概述

基本信息

• 许可证: MIT
• 语言: 英语
• 标签: 解释评估, 解释评级, 常识推理
• 大小类别: 1K<n<10K
• 任务类别: 文本分类, 文本生成
• 美观名称: ACORN
• 配置:
  • 配置名称: data
  • 数据文件: ACORN.jsonl

数据集描述

• 内容: 包含3,500个人类编写和LLM生成的解释，每个解释都有人类给出的方面质量评级。
• 文件: 数据集文件为ACORN.jsonl，每行包含解释文本、相关信息、聚合评级和所有工人的评级。
• 基本字段:
  • question: 问题文本
  • choices: 答案选项列表
  • label: 正确答案索引
  • explanation: 解释文本
  • voted_ratings: 多数投票评级
  • worker_ratings: 所有工人评级，以字典形式存储（工人ID → 评级字典）

质量方面

• 评级标准: 包括一般评级和细粒度的解释质量方面，追求流畅、充分、最小和对比的解释。

数据来源

• 来源: 数据集包含来自多个来源的解释，包括ECQA、CoS-E、COPA-SSE、Commonsense QA的生成解释、Balanced COPA的生成解释、新收集的Balanced COPA解释以及GPT-3.5编辑的CoS-E和COPA-SSE版本。

额外字段

• id: 测试样本ID
• q_id: 原始问题ID
• e_id: 原始解释ID
• q_source: 问题来源（Commonsense QA或Balanced COPA）
• e_source: 解释来源
• triples: 三元组形式的解释（仅COPA-SSE）
• postivies, negatives: 正负陈述（仅ECQA）

引用信息

@article{brassard2024acorn, title = {ACORN: Aspect-wise Commonsense Reasoning Explanation Evaluation}, author = {Ana Brassard and Benjamin Heinzerling and Keito Kudo and Keisuke Sakaguchi and Kentaro Inui}, year = {2024}, journal = {arXiv preprint arXiv: 2405.04818} }