TangramData-Instruct-Colored

逐步七巧板组装数据集，包含彩色拼图块和每个拼图独特的参考图像。每个问题包括一个独特的参考图像，显示七巧板拼图块排列成正方形，这意味着模型为每个问题看到不同颜色的拼图排列，而不是共享的参考图像。数据集统计信息包括：训练样本912个（90%），测试样本101个（10%），总样本1013个。每个样本包含2个问题图像（独特的彩色参考和目标轮廓）和7个解决方案图像（带有彩色拼图块的组装步骤）。数据集遵循MathCanvas-Instruct的交错格式，以确保与BAGEL-Canvas训练管道的兼容性。

Step-by-Step Tangram Assembly Dataset contains colored tangram pieces and a unique reference image for each individual puzzle. Each problem includes a unique reference image that depicts the tangram pieces arranged into a square, which means the model is presented with differently colored puzzle arrangements for every problem instead of a single shared reference image. The dataset statistics include: 912 training samples (90%), 101 test samples (10%), with a total of 1013 samples. Each sample consists of 2 problem images (unique colored reference and target outline) and 7 solution images that showcase the assembly steps with colored tangram pieces. The dataset adopts the interleaved format of MathCanvas-Instruct to ensure compatibility with the BAGEL-Canvas training pipeline.

原始信息汇总

TangramData-Instruct-Colored 数据集概述

数据集基本信息

• 数据集名称：TangramData-Instruct-Colored
• 语言：英语 (en)
• 许可证：Apache-2.0
• 任务类别：图像文本到文本、视觉问答
• 标签：七巧板、视觉推理、分步、谜题、彩色

核心特点

该数据集是一个包含彩色七巧板的分步组装数据集，每个谜题都配有独特的参考图像。

与原数据集的区别

每个问题包含一个独特的 _square.png 参考图像，展示七巧板的七块彩色拼图排列成一个正方形。这意味着模型针对每个问题看到的是不同颜色的拼图排列，而非共享的参考图像。

数据统计

• 训练样本数：912 (占总样本的90%)
• 测试样本数：101 (占总样本的10%)
• 总样本数：1013
• 问题图像：每个样本2张（独特的彩色参考图像 + 目标轮廓图像）
• 解决方案图像：每个样本7张（使用彩色拼图展示组装步骤）

数据格式与配置

• 格式：遵循MathCanvas-Instruct交错格式，以兼容BAGEL-Canvas训练流程。
• 配置名称：default
• 数据文件：
  • 训练集 (train_colored)：data/train_colored/TangramColored-*.parquet
  • 测试集 (test_colored)：data/test_colored/TangramColored-*.parquet

使用方法

python from datasets import load_dataset

加载完整数据集

dataset = load_dataset("eozlu/TangramData-Instruct-Colored")

访问数据分割

train_data = dataset["train_colored"] test_data = dataset["test_colored"]

搜集汇总

数据集介绍

构建方式

在视觉推理与几何拼图领域，TangramData-Instruct-Colored数据集通过精心设计的流程构建而成。该数据集以七巧板拼图为原型，为每个问题样本生成独特的彩色参考图像，展示七块彩色拼板以正方形排列的初始状态，并与目标轮廓图像配对。构建过程中，数据集采用分步组装策略，为每个样本提供包含彩色拼板的七步解决方案图像，确保视觉信息的多样性与一致性。数据划分遵循90%训练与10%测试的比例，共计1013个样本，所有数据以MathCanvas-Instruct交错格式保存，兼容BAGEL-Canvas训练流程。

特点

该数据集的核心特点体现在其视觉元素的独特性与结构化设计上。每个问题均配备独有的彩色参考图像，打破了传统数据集中共享参考图像的限制，使模型能够感知不同颜色排列的拼板初始状态。数据集包含两类图像输入：独特的彩色参考图与目标轮廓图，以及七步组装过程的解决方案图像，形成了多层次的视觉推理序列。这种设计不仅增强了样本的多样性，还通过分步视觉提示支持逐步推理任务，为视觉语言模型提供了丰富的几何与颜色感知训练素材。

使用方法

在视觉问答与多模态推理任务中，该数据集可通过HuggingFace的datasets库便捷加载。用户使用load_dataset函数并指定数据集路径，即可访问训练与测试划分，分别对应train_colored与test_colored两个子集。数据以parquet格式存储，支持直接集成到BAGEL-Canvas等训练流程中，用于模型在彩色几何拼图场景下的指令跟随与分步推理能力评估。加载后的数据可直接用于图像-文本到文本的转换任务，促进模型对颜色、形状及空间关系的联合理解。

背景与挑战

背景概述

视觉推理作为人工智能领域的关键分支，致力于使模型能够理解并处理复杂的视觉信息。TangramData-Instruct-Colored数据集于近年由研究者eozlu发布，专注于七巧板拼图这一经典视觉推理任务。该数据集的核心研究问题在于推动模型执行逐步的、基于指令的彩色七巧板组装，其独特之处在于为每个谜题提供了专属的彩色参考图像，而非共享的统一模板，这显著增强了数据的多样性与任务的真实性。这一设计旨在评估和提升模型在动态视觉环境下的分步推理与空间规划能力，对视觉语言模型及具身智能等前沿方向具有重要的基准测试价值。

当前挑战

该数据集旨在解决视觉分步推理与指令跟随的复合挑战，其核心难题在于要求模型不仅识别彩色几何形状，还需在动态变化的参考布局下，通过多步序列操作完成目标轮廓的拼装，这对模型的视觉理解、空间变换和时序规划能力提出了极高要求。在构建过程中，主要挑战体现在数据生成的复杂性上：需要为每个样本程序化地生成独一无二的彩色七巧板初始排列及其对应的目标轮廓，并确保所有组装步骤在视觉和逻辑上的连贯性与正确性，同时还需维持与MathCanvas-Instruct格式的兼容性，以实现与现有训练框架的无缝集成。

常用场景

经典使用场景

在视觉推理与多模态人工智能领域，TangramData-Instruct-Colored数据集以其独特的彩色七巧板拼图设计，为模型提供了逐步组装任务的经典测试平台。该数据集通过包含每道题目独有的彩色参考图像和目标轮廓图像，要求模型依据视觉输入生成分步组装指令，从而模拟人类在解决空间拼图问题时的认知过程。这一场景广泛应用于评估模型在视觉-语言交互、序列生成以及空间关系理解方面的能力，为多模态推理研究提供了结构化的基准环境。

实际应用

在实际应用层面，TangramData-Instruct-Colored数据集的能力可直接迁移至需要精细视觉操作与自然语言指导的领域。例如，在机器人任务规划中，模型可学习根据视觉场景生成组装或操作步骤；在教育技术领域，它能支撑智能辅导系统，为学生提供个性化的拼图解题指导。此外，该数据集的结构也有助于开发更直观的人机交互界面，使得AI助手能够通过分步视觉指令帮助用户完成实物组装、图纸理解或创意设计等任务。

衍生相关工作

围绕该数据集衍生的经典工作主要集中在多模态指令跟随与序列生成模型的创新上。例如，研究团队利用其兼容MathCanvas-Instruct的格式，在BAGEL-Canvas等训练框架中开发了新型视觉-语言模型，这些模型在分步视觉推理任务上展现了卓越性能。后续工作进一步探索了如何将彩色拼图的组合泛化能力扩展到更广泛的视觉推理基准，并启发了对动态参考图像在提升模型鲁棒性方面的系统性研究，为领域贡献了重要的方法论与模型架构。