tinyBenchmarks/tinyTruthfulQA

tinyTruthfulQA是truthfulQA数据集的精简版本，包含100个数据点，旨在高效评估大语言模型的性能，同时减少计算资源消耗。该数据集支持多项选择、文本生成和问答任务，兼容lm-eval harness评估工具，并可以集成到自定义管道中进行模型评估。

原始信息汇总

tinyTruthfulQA 数据集概述

基本信息

• 配置名称: multiple_choice
• 特征:
  • question: 字符串类型
  • mc1_targets: 结构体类型，包含 choices（字符串序列）和 labels（整数序列）
  • mc2_targets: 结构体类型，包含 choices（字符串序列）和 labels（整数序列）
  • input_formatted: 字符串类型
• 分割:
  • validation: 包含 100 个样本，总字节数为 136576
• 下载大小: 50299 字节
• 数据集大小: 136576 字节

数据集配置

• 配置名称: multiple_choice
• 数据文件:
  • validation: 路径为 multiple_choice/validation-*

数据集属性

• 注释创建者: 专家生成
• 语言创建者: 专家生成
• 语言: 英语
• 许可证: Apache 2.0
• 多语言性: 单语种
• 大小类别: n<1K
• 源数据集: truthful_qa
• 任务类别:
  • 多选题
  • 文本生成
  • 问答
• 任务ID:
  • 多选题问答
  • 语言建模
  • 开放领域问答

数据集名称

• pretty_name: tinyTruthfulQA