SoM-1K

SoM-1K是一个专门针对材料强度问题评估基础模型性能的大规模多模态基准数据集。该数据集包含了1065个注释过的材料强度问题，真实反映了现实世界的工程任务，既包括文本问题陈述，也包括示意图。SoM-1K数据集的创建旨在解决当前基础模型在理解复杂视觉信息方面的局限性，通过提供由专家生成的对视觉图的高精度文本描述来辅助模型理解。该数据集为工程AI提供了一个严格的基准，突出了在基础模型中开发更强大的多模态推理能力，特别是在科学和工程领域的重要性。SoM-1K is a large-scale multimodal benchmark dataset specifically designed for evaluating the performance of foundation models on material strength-related problems. This dataset comprises 1065 annotated material strength-related problems, which faithfully reflect real-world engineering tasks, including both textual problem statements and schematic diagrams. The creation of the SoM-1K dataset aims to address the limitations of current foundation models in understanding complex visual information, by providing high-precision textual descriptions of visual diagrams generated by experts to assist model comprehension. This dataset provides a stringent benchmark for engineering AI, highlighting the importance of developing more robust multimodal reasoning capabilities in foundation models, particularly in the scientific and engineering domains.

搜集汇总

数据集介绍

构建方式

在材料力学这一工程基础学科中，视觉与文本信息的融合对问题求解至关重要。SoM-1K数据集通过系统化流程构建，从经典教材与力学竞赛中精选1065道题目，涵盖轴向荷载、扭转、弯曲等核心力学场景。采用光学字符识别技术提取文本内容，并由领域专家手动校正图示信息，最终通过专家标注生成包含问题描述、图示、图像描述与标准答案的四元组结构，确保数据与真实工程问题的对齐。

特点

该数据集凸显多模态融合的独特性，将文本问题陈述与工程示意图有机结合，模拟真实工程场景中的信息处理需求。其核心创新在于引入专家验证的图像描述机制，通过精准的文本化表述消除视觉歧义，为模型提供结构化的几何与边界条件信息。数据集涵盖静定与超静定问题梯度分布，并包含需要多概念推理的综合性任务，形成了层次化的评估体系。

使用方法

作为评估基础模型工程推理能力的基准平台，该数据集支持三种提示策略：纯视觉输入、图文结合及文本化图像描述。研究显示图文描述策略能显著提升模型性能，尤其适用于当前视觉语言模型在专业图示理解上的局限。通过多数投票机制与专家人工评估相结合，可系统分析模型在知识应用、计算精度、信息提取等维度的表现，为领域适应性优化提供实证依据。

背景与挑战

背景概述

材料力学作为工程学科的核心分支，研究固体结构在荷载作用下的力学响应与失效机制。2025年，由湖南大学、迈阿密大学及伊利诺伊大学芝加哥分校联合研发的SoM-1K数据集应运而生，成为首个面向材料力学领域的大规模多模态基准数据集。该数据集包含1065道标注题目，涵盖轴向受力、扭转、弯曲等典型力学问题，通过融合文本描述与工程示意图，精准还原了工程实践中的多模态推理场景。其创新性在于突破了传统文本数据集的局限，为评估基础模型在工程领域的推理能力提供了标准化平台，对推动人工智能在结构设计、安全评估等高风险领域的应用具有里程碑意义。

当前挑战

材料力学问题的核心挑战在于多模态信息的协同解析，要求模型同时处理文本描述的物理参数与示意图中的几何边界条件。当前视觉语言模型对工程符号系统的理解存在显著偏差，例如在提取梁体支撑类型或荷载方向时错误率高达34%。数据集构建过程中面临双重挑战：一是工程图纸的标准化标注需依赖领域专家手动校正，二是拉格式方程与自然语言的转换存在语义损耗。实验表明，即使最优模型在引入图像描述策略后准确率仍仅达56.6%，暴露出基础模型在专业领域符号推理与数值计算方面的能力缺陷。

常用场景

经典使用场景

在材料力学领域，SoM-1K数据集作为首个大规模多模态基准测试平台，其经典应用场景聚焦于评估基础模型对工程问题的跨模态推理能力。该数据集通过融合文本问题描述与结构示意图，模拟真实工程实践中工程师需同时解析材料属性文本与结构边界条件图示的复杂场景，为测试模型在轴向荷载、扭转、弯曲等典型力学问题中的表现提供了标准化环境。

衍生相关工作

该数据集催生了多模态工程推理的新研究方向，例如基于DoI提示策略的视觉语言模型优化研究。其构建方法为后续结构动力学、塑性力学等领域的基准创建提供了范式，启发如AutoGen多智能体力学求解框架、MechAgent协同分析系统等衍生工作。这些研究共同推进了专业领域知识与人工智能技术的深度融合。

数据集最近研究

最新研究方向

在材料力学这一工程基础学科中，SoM-1K数据集的推出标志着多模态人工智能评估进入新阶段。该数据集通过整合文本描述与工程示意图，揭示了当前基础模型在解析复杂工程问题时的显著局限，尤其凸显了视觉语言模型对专业图纸理解能力的不足。研究热点聚焦于图像描述技术对错误率的降低作用，表明精准的文本转换策略能有效弥补视觉信息的误读。这一发现推动了工程领域多模态推理研究的发展，为构建更可靠的工程智能系统奠定了评估基础。

相关研究论文

• 通过

  湖南大学土木工程学院, 美国迈阿密大学土木与建筑工程系, 美国迈阿密大学电气与计算机工程系, 美国迈阿密大学建筑学院, 美国伊利诺伊大学芝加哥分校计算机科学系 · 2025年