pkulium/D-SQA

这是一个基于[derek-thomas/ScienceQA](https://huggingface.co/datasets/derek-thomas/ScienceQA)的分散版本数据集，用于`lmms-eval`管道中以一键评估大型多模态模型。数据集包含四个不同的配置（D-SQA-AC, D-SQA-AI, D-SQA-IC, D-SQA-II），每个配置包含图像、问题、选择、答案等特征，并且每个配置都有一个包含2000个样本的测试集。

原始信息汇总

数据集概述

数据集配置

1. D-SQA-AC

   • 特征:
     • image: 图片
     • question: 字符串
     • choices: 字符串序列
     • answer: 8位整数
     • hint: 字符串
     • task: 字符串
     • grade: 字符串
     • subject: 字符串
     • topic: 字符串
     • category: 字符串
     • skill: 字符串
     • lecture: 字符串
     • solution: 字符串
     • distraction_type: 字符串
   • 分割:
     • test: 2000个样本

2. D-SQA-AI

   • 特征:
     • image: 图片
     • question: 字符串
     • choices: 字符串序列
     • answer: 8位整数
     • hint: 字符串
     • task: 字符串
     • grade: 字符串
     • subject: 字符串
     • topic: 字符串
     • category: 字符串
     • skill: 字符串
     • lecture: 字符串
     • solution: 字符串
   • 分割:
     • test: 2000个样本

3. D-SQA-IC

   • 特征:
     • image: 图片
     • question: 字符串
     • choices: 字符串序列
     • answer: 8位整数
     • hint: 字符串
     • task: 字符串
     • grade: 字符串
     • subject: 字符串
     • topic: 字符串
     • category: 字符串
     • skill: 字符串
     • lecture: 字符串
     • solution: 字符串
     • distraction_type: 字符串
   • 分割:
     • test: 2000个样本

4. D-SQA-II

   • 特征:
     • image: 图片
     • question: 字符串
     • choices: 字符串序列
     • answer: 8位整数
     • hint: 字符串
     • task: 字符串
     • grade: 字符串
     • subject: 字符串
     • topic: 字符串
     • category: 字符串
     • skill: 字符串
     • lecture: 字符串
     • solution: 字符串
     • distraction_type: 字符串
   • 分割:
     • test: 2000个样本

数据文件

• D-SQA-AC
  • 测试数据路径: D-SQA-AC/test-*
• D-SQA-AI
  • 测试数据路径: D-SQA-AI/test-*
• D-SQA-IC
  • 测试数据路径: D-SQA-IC/test-*
• D-SQA-II
  • 测试数据路径: D-SQA-II/test-*

搜集汇总

背景与挑战

背景概述

D-SQA是一个基于ScienceQA的带干扰项问答数据集，专门设计用于评估大型多模态模型的性能。数据集包含8,000条多学科问答数据，覆盖从小学到高中的多个年级，每个问题都附带有干扰信息，以测试模型在存在矛盾、误导或无关内容时的推理和抗干扰能力。