lmms-lab/ScienceQA

---
dataset_info:
- config_name: ScienceQA-FULL
features:
- name: image
dtype: image
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: int8
- name: hint
dtype: string
- name: task
dtype: string
- name: grade
dtype: string
- name: subject
dtype: string
- name: topic
dtype: string
- name: category
dtype: string
- name: skill
dtype: string
- name: lecture
dtype: string
- name: solution
dtype: string
splits:
# - name: train
# num_bytes: 422199906.182
# num_examples: 12726
- name: validation
num_bytes: 140142913.699
num_examples: 4241
- name: test
num_bytes: 138277282.051
num_examples: 4241
download_size: 679275875
dataset_size: 700620101.932
- config_name: ScienceQA-IMG
features:
- name: image
dtype: image
- name: question
dtype: string
- name: choices
sequence: string
- name: answer
dtype: int8
- name: hint
dtype: string
- name: task
dtype: string
- name: grade
dtype: string
- name: subject
dtype: string
- name: topic
dtype: string
- name: category
dtype: string
- name: skill
dtype: string
- name: lecture
dtype: string
- name: solution
dtype: string
splits:
# - name: train
# num_bytes: 413310651.0
# num_examples: 6218
- name: validation
num_bytes: 137253441.0
num_examples: 2097
- name: test
num_bytes: 135188432.0
num_examples: 2017
download_size: 663306124
dataset_size: 685752524.0
configs:
- config_name: ScienceQA-FULL
data_files:
# - split: train
# path: ScienceQA-FULL/train-*
- split: validation
path: ScienceQA-FULL/validation-*
- split: test
path: ScienceQA-FULL/test-*
- config_name: ScienceQA-IMG
data_files:
# - split: train
# path: ScienceQA-IMG/train-*
- split: validation
path: ScienceQA-IMG/validation-*
- split: test
path: ScienceQA-IMG/test-*
---
<p align="center" width="100%">
<img src="https://i.postimg.cc/g0QRgMVv/WX20240228-113337-2x.png" width="100%" height="80%">
</p>

# Large-scale Multi-modality Models Evaluation Suite

> Accelerating the development of large-scale multi-modality models (LMMs) with `lmms-eval`

🏠 [Homepage](https://lmms-lab.github.io/) | 📚 [Documentation](docs/README.md) | 🤗 [Huggingface Datasets](https://huggingface.co/lmms-lab)

# This Dataset
This is a formatted version of [derek-thomas/ScienceQA](https://huggingface.co/datasets/derek-thomas/ScienceQA). It is used in our `lmms-eval` pipeline to allow for one-click evaluations of large multi-modality models.

```
@inproceedings{lu2022learn,
title={Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering},
author={Lu, Pan and Mishra, Swaroop and Xia, Tony and Qiu, Liang and Chang, Kai-Wei and Zhu, Song-Chun and Tafjord, Oyvind and Clark, Peter and Ashwin Kalyan},
booktitle={The 36th Conference on Neural Information Processing Systems (NeurIPS)},
year={2022}
}
```

# 大规模多模态模型评测套件
> 借助`lmms-eval`加速大规模多模态模型（Large-scale Multi-modality Models, LMMs）的研发

🏠 [主页](https://lmms-lab.github.io/) | 📚 [文档](docs/README.md) | 🤗 [Huggingface数据集](https://huggingface.co/lmms-lab)

# 本数据集
本数据集是[derek-thomas/ScienceQA（科学问答数据集）](https://huggingface.co/datasets/derek-thomas/ScienceQA)的格式化版本，被应用于我们的`lmms-eval`流程中，以实现大规模多模态模型的一键式评测。

@inproceedings{lu2022learn,
title={学会解释：面向科学问答任务的基于思维链的多模态推理},
author={Lu Pan、Swaroop Mishra、Tony Xia、Liang Qiu、Kai-Wei Chang、Song-Chun Zhu、Øyvind Tafjord、Peter Clark、Ashwin Kalyan},
booktitle={第36届神经信息处理系统会议（NeurIPS 2022）},
year={2022}
}

<p align="center" width="100%">
<img src="https://i.postimg.cc/g0QRgMVv/WX20240228-113337-2x.png" width="100%" height="80%">
</p>

## 数据集信息
- 配置名称：ScienceQA-FULL
特征列表：
- 字段名：image，数据类型：图像
- 字段名：question，数据类型：字符串
- 字段名：choices，数据类型：字符串序列
- 字段名：answer，数据类型：int8（8位有符号整数）
- 字段名：hint，数据类型：字符串
- 字段名：task，数据类型：字符串
- 字段名：grade，数据类型：字符串
- 字段名：subject，数据类型：字符串
- 字段名：topic，数据类型：字符串
- 字段名：category，数据类型：字符串
- 字段名：skill，数据类型：字符串
- 字段名：lecture，数据类型：字符串
- 字段名：solution，数据类型：字符串
划分集：
# - 划分名称：训练集
# 字节数：422199906.182
# 样本数量：12726
- 划分名称：验证集
字节数：140142913.699
样本数量：4241
- 划分名称：测试集
字节数：138277282.051
样本数量：4241
下载大小：679275875
数据集总大小：700620101.932
- 配置名称：ScienceQA-IMG
特征列表：
- 字段名：image，数据类型：图像
- 字段名：question，数据类型：字符串
- 字段名：choices，数据类型：字符串序列
- 字段名：answer，数据类型：int8（8位有符号整数）
- 字段名：hint，数据类型：字符串
- 字段名：task，数据类型：字符串
- 字段名：grade，数据类型：字符串
- 字段名：subject，数据类型：字符串
- 字段名：topic，数据类型：字符串
- 字段名：category，数据类型：字符串
- 字段名：skill，数据类型：字符串
- 字段名：lecture，数据类型：字符串
- 字段名：solution，数据类型：字符串
划分集：
# - 划分名称：训练集
# 字节数：413310651.0
# 样本数量：6218
- 划分名称：验证集
字节数：137253441.0
样本数量：2097
- 划分名称：测试集
字节数：135188432.0
样本数量：2017
下载大小：663306124
数据集总大小：685752524.0
配置项：
- 配置名称：ScienceQA-FULL
数据文件：
# - 划分：训练集
# 路径：ScienceQA-FULL/train-*
- 划分：验证集
路径：ScienceQA-FULL/validation-*
- 划分：测试集
路径：ScienceQA-FULL/test-*
- 配置名称：ScienceQA-IMG
数据文件：
# - 划分：训练集
# 路径：ScienceQA-IMG/train-*
- 划分：验证集
路径：ScienceQA-IMG/validation-*
- 划分：测试集
路径：ScienceQA-IMG/test-*

原始信息汇总

数据集概述

ScienceQA-FULL

• 特征:
  • image: 图像类型
  • question: 字符串类型
  • choices: 字符串序列
  • answer: 8位整数类型
  • hint: 字符串类型
  • task: 字符串类型
  • grade: 字符串类型
  • subject: 字符串类型
  • topic: 字符串类型
  • category: 字符串类型
  • skill: 字符串类型
  • lecture: 字符串类型
  • solution: 字符串类型
• 拆分:
  • validation: 140142913.699字节, 4241个样本
  • test: 138277282.051字节, 4241个样本
• 下载大小: 679275875字节
• 数据集大小: 700620101.932字节

ScienceQA-IMG

• 特征:
  • image: 图像类型
  • question: 字符串类型
  • choices: 字符串序列
  • answer: 8位整数类型
  • hint: 字符串类型
  • task: 字符串类型
  • grade: 字符串类型
  • subject: 字符串类型
  • topic: 字符串类型
  • category: 字符串类型
  • skill: 字符串类型
  • lecture: 字符串类型
  • solution: 字符串类型
• 拆分:
  • validation: 137253441字节, 2097个样本
  • test: 135188432字节, 2017个样本
• 下载大小: 663306124字节
• 数据集大小: 685752524字节

数据文件配置

• ScienceQA-FULL:
  • validation: ScienceQA-FULL/validation-*
  • test: ScienceQA-FULL/test-*
• ScienceQA-IMG:
  • validation: ScienceQA-IMG/validation-*
  • test: ScienceQA-IMG/test-*

搜集汇总

数据集介绍

构建方式

在科学教育领域，高质量的多模态数据集对于评估模型的理解与推理能力至关重要。ScienceQA数据集通过系统化地整合视觉与文本信息构建而成，其内容源自广泛的科学学科，涵盖从小学到高中的多个年级。数据采集过程严格遵循教育标准，确保题目在学科知识、认知技能和图像关联性上具有代表性。每个样本均包含问题、选项、答案及丰富的元数据，如图像、提示、讲解和解决方案，这些元素共同构成了一个结构严谨的多模态评估基准。

特点

该数据集以其全面的多模态特性脱颖而出，不仅融合了图像与文本，还提供了精细的学科分类和技能标注。每个问题均关联具体的学科、主题、年级及任务类型，并附带详细的讲解和解决方案，这为深入分析模型的推理过程提供了可能。数据集分为ScienceQA-FULL和ScienceQA-IMG两个版本，后者专注于包含图像的问题，使得研究者能够针对视觉理解能力进行专项评估。其丰富的元数据层支持多维度的性能剖析，推动了大型多模态模型在科学问答领域的精准评测。

使用方法

在大型多模态模型的评估流程中，ScienceQA数据集可通过lmms-eval框架实现一键式评测。用户首先加载数据集的指定配置，如ScienceQA-FULL或ScienceQA-IMG，随后利用验证集和测试集进行模型推理。评估过程支持端到端的多模态输入处理，模型需综合图像与文本信息生成答案，系统将自动比对预测结果与标注答案，并计算准确率等指标。该集成化方法显著简化了评测复杂度，使研究者能专注于模型性能的深入分析，加速多模态推理技术的迭代发展。

背景与挑战

背景概述

ScienceQA数据集由Pan Lu等研究人员于2022年构建，作为NeurIPS会议上的重要成果，该数据集旨在推动多模态推理与科学问答领域的研究。其核心研究问题聚焦于通过思维链机制，促进模型在科学问题解答中的解释性推理能力。数据集涵盖丰富的学科主题与年级层次，不仅为大规模多模态模型的评估提供了标准化基准，也显著提升了人工智能在复杂科学知识理解与推理方面的研究深度。

当前挑战

ScienceQA数据集所应对的领域挑战在于，科学问答往往需要模型融合文本与图像信息，进行跨模态的深度推理与因果解释，这对现有多模态模型的逻辑连贯性与知识泛化能力提出了较高要求。在构建过程中，数据收集面临学科多样性平衡与多模态对齐的复杂性，同时标注高质量的思维链解答需确保科学准确性与教育适用性，这些因素共同构成了数据集构建的核心难点。

常用场景

经典使用场景

在科学教育领域，ScienceQA数据集为多模态推理研究提供了关键基准。该数据集整合了图像、文本问题与多项选择答案，其经典使用场景在于评估大型多模态模型在科学问答任务中的表现。研究者通过该数据集能够系统地测试模型对跨学科知识的理解能力，尤其是在处理需要结合视觉信息与文本推理的复杂问题时，数据集的结构化设计使得模型性能的量化分析成为可能。

解决学术问题

ScienceQA数据集主要解决了多模态推理中解释性生成的学术挑战。传统模型往往在结合视觉与语言信息进行因果推断时存在局限，该数据集通过提供带有思维链标注的样本，促进了可解释人工智能的发展。它帮助研究者探索模型如何模拟人类的推理过程，从而在科学问题解答中实现更透明、更可靠的决策机制，推动了多模态学习理论向更深层次的演进。

衍生相关工作

围绕ScienceQA数据集，衍生出了一系列经典研究工作。例如，原论文《Learn to Explain: Multimodal Reasoning via Thought Chains for Science Question Answering》提出了思维链推理框架，启发了后续多模态大模型的评估方法。许多研究在此基础上开发了新的基准测试工具，如lmms-eval评估套件，这些工作不仅扩展了数据集的适用场景，还推动了多模态人工智能在科学认知与推理任务中的标准化进程。