jakeboggs/MTG-Eval

MTG-Eval数据集旨在增强和评估大型语言模型对《魔法风云会》（MTG）规则和卡牌互动的理解。该数据集包含从MTG卡牌描述、官方裁决和卡牌互动生成的合成问答对，旨在减少语言模型的幻觉并提高其在MTG相关任务（如卡组生成和游戏内决策）中的表现。数据集包含80,032个实例，分为卡牌描述、规则问题和卡牌互动三类，数据来源于MTGJSON和Commander Spellbook。数据生成方法包括从MTG卡牌中重新格式化规则文本、从MTG规则委员会的裁决中重新格式化问题，以及从Commander Spellbook数据库中的组合描述生成合成问题。数据集的使用案例包括训练语言模型以提高其对MTG规则和卡牌互动的理解，以及作为评估语言模型在MTG相关任务中表现的基准。

原始信息汇总

数据集概述

数据集名称

• 名称: MTG-Eval

数据集内容

• 特征:
  • instruction: 数据类型为字符串
  • response: 数据类型为字符串
  • category: 数据类型为字符串

数据集结构

• 分割:
  • 训练集:
    • 文件路径: data/train-*
    • 示例数量: 76011
    • 字节数: 40388948.1573514
  • 测试集:
    • 文件路径: data/test-*
    • 示例数量: 4001
    • 字节数: 2125957.8426486026

数据集大小

• 下载大小: 19780999字节
• 数据集总大小: 42514906.0字节

数据集实例总数

• 总实例数: 80,032
  • 卡牌描述: 26,702
  • 规则问题: 27,104
  • 卡牌互动: 26,226

数据来源

• 来源: 数据源自MTGJSON和Commander Spellbook

数据生成方法

• 卡牌描述: 重格式化的MTG卡牌规则文本
• 规则问题: 重格式化的MTG规则委员会裁决
• 卡牌互动: 从Commander Spellbook数据库的组合描述中生成的合成问题

使用场景

• 训练语言模型: 提升语言模型对MTG规则和卡牌互动的理解
• 评估基准: 评估语言模型在MTG相关任务上的性能