OpenSeeSimE-Structural-Mini

OpenSeeSimE-Structural-Mini 是 [`cmudrc/OpenSeeSimE-Structural`](https://huggingface.co/datasets/cmudrc/OpenSeeSimE-Structural) 数据集的 1% 分层子集，旨在以较低的计算成本评估视觉语言模型，同时保持模拟类型、问题类型、媒体类型和问题 ID 的联合分布。数据集包含 1,120 个样本，涵盖五种工程模拟模型（Beams、Dog Bone、Hip Implant、Pressure Vessel、Wall Bracket），每种模型的问题类型包括二元问题、多项选择题和空间问题。数据形式包括图像（560 个）和视频（560 个），每个样本包含问题文本、答案选项、正确答案索引、图像或视频等字段。该数据集适用于工程模拟领域的视觉问答任务评估、评估流程的快速测试以及在存储或带宽受限情况下的比较研究。数据集采用 MIT 许可，允许学术和商业用途。

原始信息汇总

数据集概述：OpenSeeSimE-Structural-Mini

基本信息

• 数据集名称: OpenSeeSimE-Structural-Mini
• 数据集链接: https://huggingface.co/datasets/JessicaE/OpenSeeSimE-Structural-Mini
• 任务类别: 视觉问答 (Visual Question Answering)
• 语言: 英文
• 许可证: MIT
• 数据规模: 1K < n < 10K（共1,120条数据）
• 存储大小: 约1.73 GB

子集来源

• 父级数据集: cmudrc/OpenSeeSimE-Structural（共102,678条数据）
• 本子集占比: 父级数据集的1.09%
• 分层抽样策略: 基于 (source_file, question_type, media_type, question_id) 四个维度联合分层，每层按 ceil(n * 1%) 抽取，非空层至少贡献1行
• 随机种子: numpy.random.default_rng(42)
• 嵌套关系: 本1%子集是10%子集的文字子集（同一洗牌前缀）

数据组成

按源文件（source_file）分布

源文件	数量	占比
Beams	240	21.43%
Dog Bone	220	19.64%
Hip Implant	220	19.64%
Pressure Vessel	220	19.64%
Wall Bracket	220	19.64%

按媒体类型（media_type）分布

媒体类型	数量
图像	560
视频	560

按源文件与问题类型（source_file × question_type）分布

源文件	Binary	Multiple Choice	Spatial	总计
Beams	72	120	48	240
Dog Bone	66	110	44	220
Hip Implant	66	110	44	220
Pressure Vessel	66	110	44	220
Wall Bracket	66	110	44	220

特征模式

数据集包含以下特征字段：

字段名	类型	说明
file_name	字符串	唯一标识符
source_file	字符串	基础仿真模型名称
question	字符串	问题文本
question_type	字符串	问题类型：Binary / Multiple Choice / Spatial
question_id	整数	问题标识符（1-20）
answer	字符串	真实答案
answer_choices	字符串列表	选项列表
correct_choice_idx	整数	正确答案的索引
image	图像	PIL图像（1920x1440），视频行为空
video	视频	视频数据，图像行为空
media_type	字符串	媒体类型：image / video

数据划分

• 测试集（test）: 1,120条数据
• 数据文件路径：data/test-*（Parquet分片格式）

预期用途

• 在降低计算成本的前提下，对视觉语言模型进行工程仿真问答的基准评估
• 在运行完整基准测试前进行验证管道的快速测试
• 存储或带宽受限条件下的比较研究

引用

bibtex @article{ezemba2024opensesime, title={OpenSeeSimE: A Large-Scale Benchmark to Assess Vision-Language Model Question Answering Capabilities in Engineering Simulations}, author={Ezemba, Jessica and Pohl, Jason and Tucker, Conrad and McComb, Christopher}, year={2025} }

联系方式

• 作者: Jessica Ezemba
• 邮箱: [e-mail]
• 机构: 卡内基梅隆大学机械工程系

搜集汇总

数据集介绍

构建方式

OpenSeeSimE-Structural-Mini是基于大规模工程仿真视觉问答数据集OpenSeeSimE-Structural构建的轻量化分层子集。该子集采用分层抽样策略，以原始数据集中102,678个样本为母体，依据source_file、question_type、media_type和question_id四个维度联合构建分层单元，对每个非空层按1.09%的比例随机抽取样本，最终形成1,120个代表性实例。为确保子集与更高比例子集间的嵌套一致性，抽样过程使用固定随机种子进行分层乱序后取前缀，使得该Mini版本成为10%子集的一个真子集，从而在降低计算开销的同时保持原始数据的联合分布特征。

特点

该数据集涵盖梁、狗骨试件、髋关节植入物、压力容器和墙托架五类典型工程仿真模型，包含二选一、多项选择和空间推理三种问题类型，并均衡地分布于图像与视频两种媒体形态，每类各占560个样本。其样本来源分布均匀，各仿真模型类别的样本量维持在220至240之间，且问题类型在不同类别中的比例与母数据集保持一致。数据条目均保留父集的完整字段，包括问题文本、答案选项、正确答案索引以及高分辨率图像或视频数据，为工程仿真视觉语言模型的评测提供了结构严谨且分布均衡的测试样本集合。

使用方法

该数据集专为视觉语言模型的工程仿真问答能力评估而设计，尤其适用于计算资源受限或需快速验证模型性能的场景。用户可通过HuggingFace Datasets库直接加载，采用结构化字段中的question作为输入提示，将image或video与问题联合馈入多模态模型，通过比较模型输出与answer字段的标注答案来量化准确率。其分层抽样特性支持模型在小规模测试集上快速完成流水线调试，在充分验证评测流程正确性后，再迁移至完整的OpenSeeSimE-Structural数据集进行全面基准测试，显著降低开发迭代的时间与算力成本。

背景与挑战

背景概述

OpenSeeSimE-Structural-Mini数据集由卡内基梅隆大学机械工程系的Jessica Ezemba等人于2025年创建，是源自大规模基准数据集OpenSeeSimE-Structural的1%分层子集，旨在评估视觉语言模型在工程模拟场景下的问答能力。该数据集涵盖梁、狗骨、髋关节植入物、压力容器及墙支架五类结构，包含1120条样本，每一样本以图像或视频形式呈现，并附有二元、多项选择或空间三种类型的问题及其标准答案。其核心研究问题是验证并推动视觉语言模型对工程领域复杂结构模拟的深度理解，为模型在专业工程应用中的可靠性评估提供了关键基准，对促进人工智能在工程设计与分析中的落地具有重要影响力。

当前挑战

该数据集旨在解决视觉语言模型在工程模拟问答中的领域挑战：模型需准确理解结构化部件（如梁、压力容器）的几何、力学与功能特性，跨越从简单分类到空间推理的多层次认知难题，而现有通用视觉问答基准难以覆盖此类专业工程知识。构建过程中，挑战在于从10万余条父数据集中通过分层抽样（依据源文件、问题类型、媒体类型及问题编号四个维度）保留联合分布的特性，同时将数据量压缩至1%以降低计算开销，需确保每一非空层至少贡献一条样本，并利用固定随机种子经洗牌后取整，该精细化流程要求对原始数据分布有透彻把握，以维持子集的代表性与均衡性。

常用场景

经典使用场景

在工程仿真与视觉-语言模型交叉领域中，OpenSeeSimE-Structural-Mini数据集作为一项经过分层的精简子集，被广泛用于评估多模态模型在工程结构问答任务上的表现。该数据集保留了原始全量数据中仿真类型、问题类型、媒体类型和问题ID的联合分布特性，使得研究者能够在显著降低计算开销的前提下，开展可靠的模型性能验证。其涵盖梁、狗骨试件、髋关节植入物、压力容器和墙支架五类工程结构，通过图像与视频两种媒体形式，以及二元、多项选择和空间三类问题，为模型提供了丰富的视觉推理挑战。这一设计使得该数据集成为快速迭代模型架构、验证训练策略以及进行跨模型比较的理想基准。

实际应用

在实际工程应用中，OpenSeeSimE-Structural-Mini数据集所承载的任务类型可被直接映射至多个工业场景。例如，在结构健康监测领域，模型需依据仿真图像判断关键部位是否出现应力集中或潜在失效风险；在产品设计验证阶段，可将自动问答系统嵌入仿真软件，辅助工程师快速理解复杂仿真结果，提升设计迭代效率。此外，该数据集对视频媒体的设计也为动态仿真过程的实时语义理解奠定了基础，可应用于虚拟测试中的异常预警、教学培训中的仿真解说以及自动化报告生成系统。凭借其精简而均衡的结构，该数据集更适用于资源受限的嵌入式系统或边缘计算设备，推动轻量化智能诊断解决方案的落地。

衍生相关工作

基于OpenSeeSimE-Structural-Mini数据集衍生出的经典工作，主要集中在视觉-语言模型在工程领域的细粒度评测与适应方法研究。研究者们借助该子集的层次化结构，开发了针对仿真特定任务的轻量级微调策略，如提示工程与适配器融合技术，用以提升模型在机械结构问答上的准确性。同时，该数据集被用作快速原型验证平台，催生了一系列用于优化多模态特征对齐的对比学习框架，以及探索空间关系推理的图神经网络变体。这些工作不仅丰富了工程仿真问答的理论体系，也为后续构建更大规模的、覆盖更多工程领域的专业问答数据集提供了方法论借鉴，形成了从数据构建、模型评测到算法创新的一套完整研究链路。