Elfsong/Mercury

Mercury是第一个为代码合成任务设计的代码效率基准测试数据集。它包含1,889个编程任务，涵盖了不同的难度级别，并提供了测试案例生成器以进行全面的评估。数据集的特性包括任务的问题信息、解决方案、生成代码等，且数据集分为训练集和评估集。

原始信息汇总

数据集信息

特征

• slug_name: 数据类型为字符串。
• meta_info: 结构化数据，包含以下字段：
  • data: 结构化数据，包含以下字段：
    • question: 结构化数据，包含以下字段：
      • categoryTitle: 数据类型为字符串。
      • content: 数据类型为字符串。
      • difficulty: 数据类型为字符串。
      • questionFrontendId: 数据类型为字符串。
      • questionId: 数据类型为字符串。
      • questionTitle: 数据类型为字符串。
      • questionTitleSlug: 数据类型为字符串。
      • similarQuestions: 数据类型为字符串。
      • stats: 数据类型为字符串。
      • topicTags: 列表，包含以下字段：
        • name: 数据类型为字符串。
        • slug: 数据类型为字符串。
• id: 数据类型为字符串。
• difficulty: 数据类型为字符串。
• pretty_content: 序列化字符串。
• solutions: 列表，包含以下字段：
  • hash: 数据类型为int64。
  • runtime: 数据类型为字符串。
  • solution: 数据类型为字符串。
• prompt: 数据类型为字符串。
• generator_code: 数据类型为字符串。
• convert_online: 数据类型为字符串。
• convert_offline: 数据类型为字符串。
• evaluate_offline: 数据类型为字符串。
• entry_point: 数据类型为字符串。
• test_cases: 数据类型为字符串。

数据分割

• train: 包含1633个样本，占用24879611字节。
• eval: 包含256个样本，占用7028101字节。

数据集大小

• 下载大小: 10526574字节。
• 数据集大小: 31907712字节。

配置

• default: 包含以下数据文件：
  • train: 路径为data/train-*。
  • eval: 路径为data/eval-*。

语言

• 英语

大小分类

• 1K<n<10K

许可证

• Creative Commons Attribution Non-Commercial 4.0

任务分类

• 文本到文本生成
• 文本生成

标签

• 代码