HuggingFaceM4/ScienceQAImg_Modif

---
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
dataset_info:
features:
- name: image
dtype: image
- name: context
dtype: string
- name: label
dtype:
class_label:
names:
'0': A
'1': B
'2': C
'3': D
'4': E
splits:
- name: train
num_bytes: 204229907.55288386
num_examples: 6218
- name: validation
num_bytes: 68613530.46875736
num_examples: 2097
- name: test
num_bytes: 65108877.472058475
num_examples: 2017
download_size: 661814327
dataset_size: 337952315.4936997
---
# Dataset Card for "ScienceQAImg_Modif"

This dataset contains the [ScienceQA benchmark](https://arxiv.org/pdf/2209.09513.pdf) where only examples with an image are kept, and where we formatted the prompt.

configs:
- 配置名称：default
数据文件：
- 拆分集：训练集
路径：data/train-*
- 拆分集：验证集
路径：data/validation-*
- 拆分集：测试集
路径：data/test-*
dataset_info:
特征项：
- 名称：图像（image）
数据类型：图像（image）
- 名称：上下文（context）
数据类型：字符串
- 名称：标签（label）
数据类型：
分类标签（class_label）:
类别映射:
'0': A
'1': B
'2': C
'3': D
'4': E
拆分集详情：
- 名称：训练集
字节数：204229907.55288386
样本数：6218
- 名称：验证集
字节数：68613530.46875736
样本数：2097
- 名称：测试集
字节数：65108877.472058475
样本数：2017
下载大小：661814327
数据集总大小：337952315.4936997
---
# "ScienceQAImg_Modif" 数据集卡片
本数据集源自[ScienceQA基准测试](https://arxiv.org/pdf/2209.09513.pdf)，仅保留其中含图像的样本，并对提示词完成了格式化处理。

原始信息汇总

数据集概述

数据集配置

• 默认配置：
  • 训练集：路径为 data/train-*
  • 验证集：路径为 data/validation-*
  • 测试集：路径为 data/test-*

数据集信息

• 特征：

  • 图像：数据类型为 image
  • 上下文：数据类型为 string
  • 标签：数据类型为 class_label，包含以下类别：
    • 0: A
    • 1: B
    • 2: C
    • 3: D
    • 4: E

• 数据分割：

  • 训练集：
    • 字节数：204229907.55288386
    • 样本数：6218
  • 验证集：
    • 字节数：68613530.46875736
    • 样本数：2097
  • 测试集：
    • 字节数：65108877.472058475
    • 样本数：2017

• 数据集大小：

  • 下载大小：661814327
  • 数据集大小：337952315.4936997

搜集汇总

数据集介绍

构建方式

ScienceQAImg_Modif数据集源自广受关注的ScienceQA基准测试，专为多模态科学问答任务设计。其构建过程经历了精心的筛选与格式化：首先从原始ScienceQA数据集中提取所有包含图像的样本，确保每个样本均具备视觉与文本双模态信息；随后对提示格式进行了统一调整，以适配下游模型训练需求。数据集划分为训练集、验证集和测试集，分别包含6218、2097和2017个样本，规模适中且分布均衡。

使用方法

使用该数据集时，研究者可直接通过HuggingFace Datasets库加载，指定配置名'default'并选择所需的划分（train、validation或test）。数据以字典形式返回，包含'image'（PIL图像对象）、'context'（字符串形式的科学问题或背景）和'label'（整数编码的正确答案）。典型应用流程包括图像编码、文本嵌入、多模态特征融合及分类头预测，适用于训练或评估视觉语言模型在科学问答任务上的性能。

背景与挑战

背景概述

科学问答（ScienceQA）数据集由微软研究院等机构于2022年提出，旨在推动多模态推理与科学教育领域的发展。该数据集聚焦于融合文本与图像信息的复杂科学问题，涵盖物理、化学、生物等学科，要求模型在理解上下文的同时，从图像中提取关键证据进行多选推理。HuggingFaceM4团队对其进行了改造，仅保留包含图像的样本，并统一了提示格式，从而强化了视觉与语言联合建模的挑战性。这一变体为评估大规模多模态模型（如视觉-语言预训练模型）在跨学科知识推理中的表现提供了标准化基准，显著促进了科学教育场景下的AI应用研究。

当前挑战

当前数据集面临的核心挑战包括：1）多模态信息整合的复杂性，模型需同时解析文本上下文与图像中的符号、图表或实验场景，这对跨模态对齐能力提出严苛要求；2）学科知识的深度覆盖，科学问题常涉及专业术语与逻辑链条，模型需具备类似人类的知识迁移与因果推理能力；3）数据集的构建过程中，为保留高质量图像样本并剔除无关内容，需应对原始数据中图像质量参差、标注噪声等问题，同时确保提示格式的标准化以支持公平对比。这些挑战共同制约着模型在科学教育场景中的泛化性与可解释性。

常用场景

经典使用场景

在视觉语言理解与推理的交叉研究领域，HuggingFaceM4/ScienceQAImg_Modif 数据集以其独特的图文结合特性，成为评估多模态模型科学常识推理能力的标杆。该数据集精选了ScienceQA基准中所有包含图像的科学问题，并精心设计了提示格式，使得研究者能够系统性地探索模型在融合视觉信息与文本语境后，对多选科学问题的解答能力。经典的实验范式包括：将图像作为视觉输入，结合上下文描述，训练或微调视觉-语言模型（如视觉Transformer与语言模型的联合架构），以预测从A到E的五个选项中的正确标签。这一场景不仅考验模型对图像中物体、图表或场景的精准识别，更检验其将视觉线索与科学知识进行逻辑关联的深层推理能力。

解决学术问题

该数据集直面了多模态学习领域一个核心学术难题——如何构建能够理解并推理真实世界科学问题的智能系统。传统视觉问答数据集往往聚焦于日常物体识别或简单场景描述，而ScienceQAImg_Modif 则引入了涵盖物理、化学、生物等多学科的科学问题，要求模型超越表面特征匹配，进行因果推断、过程理解与概念运用。它解决了现有基准测试中视觉信息与深层语义推理脱节的问题，为评估模型在复杂科学语境下的泛化能力提供了可靠平台。其意义在于推动了视觉语言模型从“感知”向“认知”的跃迁，深刻影响了后续研究中对多模态知识整合与逻辑推理机制的探索，成为衡量模型科学素养的关键试金石。

实际应用

在实际应用层面，该数据集催生了智能教育领域的创新突破。基于其构建的模型，可被部署于自适应学习系统中，为中小学生提供个性化的科学题目解答与错因分析。例如，当学生提交一道包含电路图或植物结构的物理或生物题时，系统不仅能给出答案，还能通过图像理解定位学生的知识盲区。此外，该数据集的技术成果可迁移至科学文献的自动图解、实验报告的智能批改，以及科普内容的自动化生成。在工业界，它助力了智能客服系统在科学咨询场景下的响应质量提升，使机器人能够结合产品图片或使用说明书，准确解答用户提出的技术问题。

数据集最近研究

最新研究方向

ScienceQAImg_Modif数据集聚焦于多模态科学问答领域的前沿探索，通过筛选仅含图像的科学问题样本，推动视觉语言模型在复杂推理任务中的能力边界。该数据集与当前大模型多模态对齐研究紧密相关，特别是针对科学图表、实验场景等专业图像的语义理解与逻辑推理。其影响力体现在为评估模型跨模态知识迁移提供了标准化基准，尤其在教育AI和科学自动化分析等热点应用中，助力模型从简单图像识别迈向深层次科学概念推理，对构建可解释、高精度的智能教学系统具有里程碑意义。