yifanzhang114/SMR

SMR数据集是通过整合多个公开数据集（如Arxiv-QA、ScienceQA、MATH-Vision等）生成的，专注于物理/社会科学和数学中的复杂推理任务，并要求对图像细节有深刻理解。数据经过严格过滤，确保准确性。数据集的结构包括多个子目录，每个子目录对应一个特定的数据集，并提供了下载和处理这些数据的详细指令。数据集的主要用途是用于大型多模态模型和聊天机器人的研究，主要用户是计算机视觉、自然语言处理、机器学习和人工智能领域的研究人员和爱好者。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别:
  • 视觉问答
  • 问答
• 语言: 英语
• 数据集名称: 科学和数学推理任务476k数据集
• 大小类别: 小于1M

配置详情

• 配置名称: LLaVA-pt
  • 数据文件: blip_laion_cc_sbu_558k.json
• 配置名称: ShareGPT4V-sft
  • 数据文件: sharegpt4v_mix665k_cap23k_coco-ap9k_lcs3k_sam9k_div2k.json
• 配置名称: SMR-sft
  • 数据文件: SMR.json

数据集特点

• 数据来源: 结合多个公开数据集，包括Arxiv-QA, ScienceQA, MATH-Vision, TextBookQA, GeoQA3, Geometry3K, TabMWP, DVQA, AI2D, ChartVQA。
• 任务挑战:
  • 需要高级推理能力，特别是在物理/社会科学和数学领域。
  • 所有任务都需要深入理解视觉细节，因为许多图像包含丰富的注释信息或需要全面视觉分析的问题。
• 数据处理: 通过筛选和修正模糊图像、混乱文本、无关图像-文本对和错误的推理路径来确保数据准确性。

数据结构

data ├── arxivqa │ └── images ├── DVQA │ └── images ├── Geometry3K │ └── 0-2400 dirs ├── ChartQA │ └── train_images └── GeoQA3 │ ├── image │ └── json ├── mathvision ├── scienceqa ├── tabmwp └── GeoQA3 │ ├── train │ └── test │ └── val └── ai2d │ ├── abc_images │ └── images └── geoqa+ │ └── images

下载链接

• Arxiv QA: 下载链接
• DVQA: 下载链接
• ChartQA: 仓库链接
• Geometry3K: 下载链接
• GeoQA3: 下载链接
• MathVision: 下载链接
• ScienceQA: 下载链接
• Tabmwp: 下载链接
• TextbookQA: 下载链接
• AI2D: 下载链接
• GeoQA+: 下载链接

使用目的

• 主要用途: 用于研究大型多模态模型和聊天机器人。
• 主要用户: 计算机视觉、自然语言处理、机器学习和人工智能领域的研究人员和爱好者。