BeamRL-EvalData-v2

BeamRL-EvalData-v2是BeamPERL的扩展评估数据集，专门用于梁力学问题的符号计算评估。该数据集包含123个符号梁力学问题，核心任务是计算支座反力，并以载荷符号P的带符号系数作为真实答案（例如0.222222P）。数据集包含29个特征字段，涵盖配置ID、载荷信息（位置、值、类型）、支座位置、几何参数、坐标点、内力分析结果（剪力、弯矩）、变形分析结果（斜率、挠度）、各物理量的文本描述、结构离散信息（点、段）、反力、内力、变形、自然语言查询问题（每个样本4个变体）、答案、问题类别、版本号以及载荷分布参数。数据集分为7个类别：id（30个样本，单点载荷且支座位于梁端）、ood_loads（30个样本，2-4个点载荷且支座位于梁端）、ood_supports（18个样本，支座位置变化且包含1-3个点载荷）、ood_dist_left/ood_dist_middle/ood_dist_right（各5个样本，分别表示分布载荷锚定在铰支座、完全在梁内部、锚定在滚轴支座）、ood_length（15个样本，梁长度变化为7L、11L、13L）、ood_moment（15个样本，纯力偶作用无点载荷）。原始24样本评估集已完整包含为子集。所有问题均使用修改版SymBeam进行符号求解，并验证了力与力矩平衡，自然语言问题由大语言模型生成。该数据集适用于梁力学分析、符号计算、结构工程教育以及机器学习模型在工程力学问题求解能力的评估。BeamRL-EvalData-v2 is an extended evaluation dataset derived from BeamPERL, specifically designed for symbolic computation evaluation of beam mechanics problems. This dataset contains 123 symbolic beam mechanics problems, where the core task is to calculate support reactions, using the signed coefficient of the load symbol P as the ground-truth answer (e.g., 0.222222P). It includes 29 feature fields, covering configuration ID, load information (position, value, type), support positions, geometric parameters, coordinate points, internal force analysis results (shear force, bending moment), deformation analysis results (slope, deflection), text descriptions of various physical quantities, structural discretization information (points, segments), reactions, internal forces, deformations, natural language query questions (4 variants per sample), answers, problem categories, version numbers, and load distribution parameters. The dataset is divided into 7 categories: id (30 samples, single-point load with supports located at beam ends), ood_loads (30 samples, 2-4 point loads with supports at beam ends), ood_supports (18 samples, varying support positions with 1-3 point loads), ood_dist_left / ood_dist_middle / ood_dist_right (5 samples each, indicating distributed loads anchored at pinned supports, fully within the beam, and anchored at roller supports respectively), ood_length (15 samples, with beam lengths varied to 7L, 11L, and 13L), and ood_moment (15 samples, featuring pure couple loads without point loads). The original 24-sample evaluation set is fully included as a subset. All problems were solved symbolically using a modified version of SymBeam, and force and moment equilibrium were verified. The natural language questions were generated by large language models (LLMs). This dataset is applicable to beam mechanics analysis, symbolic computation, structural engineering education, and the evaluation of machine learning models' problem-solving capabilities in engineering mechanics.

原始信息汇总

数据集概述

BeamRL-EvalData-v2 是一个用于评估梁力学问题的符号计算数据集，包含 123 个样本，每个样本都要求计算支撑处的反作用力，并以载荷符号 P 的带符号系数（例如 0.222222P）作为真实答案。

数据集特征

数据集中每个样本包含以下字段：

• configuration_id: 配置标识符（字符串）
• load_position: 载荷位置（浮点数）
• load_positions: 载荷位置列表（浮点数列表）
• load_values: 载荷值列表（字符串列表）
• support_positions: 支撑位置列表（浮点数列表）
• parameters: 参数（字符串）
• x_coordinates: x 坐标列表（浮点数列表）
• shear_force, bending_moment, slope, deflection: 剪力、弯矩、斜率、挠度列表（浮点数列表）
• shear_force_info, bending_moment_info, slope_info, deflection_info: 对应的附加信息（字符串）
• points, segments, reactions, internal_loads, deflections: 几何与力学信息（字符串）
• query: 自然语言问题列表（字符串列表，每个样本 4 个变体，评估使用 query[0]）
• answer: 答案列表（字符串列表）
• category: 类别（字符串）
• version: 版本（字符串）
• dist_load_k, dist_load_n_end, moment_c, dist_load_n_start, length_multiplier: 整数类型参数
• moment_x_frac: 浮点数类型参数

数据划分

仅包含 训练集（train 划分），共 123 个样本，占用 563778 字节。下载大小为 454653 字节。

数据集类别

数据集按困难程度和问题类型分为以下类别：

类别	样本数	描述
id	30	单个集中载荷，支撑在梁的两端
ood_loads	30	2–4 个集中载荷，支撑在梁的两端
ood_supports	18	支撑位置变化，1–3 个集中载荷
ood_dist_left	5	分布载荷，锚定在销钉处
ood_dist_middle	5	分布载荷，完全位于内部
ood_dist_right	5	分布载荷，锚定在滚子处
ood_length	15	梁长度变化（7L、11L、13L）
ood_moment	15	纯力偶作用，无集中载荷

原始 24 样本评估集（tphage/BeamRL-EvalData）以完全相同的位包含在 id、ood_loads 和 ood_supports 子集中。

数据生成

所有配置均使用修改后的 SymBeam 进行符号求解，并通过力和力矩平衡验证。自然语言的问题变体由 LLM 生成。该数据集由 BeamPERL 仓库中的 DataGen/generate_eval_v2.py 脚本生成。

搜集汇总

数据集介绍

构建方式

BeamRL-EvalData-v2是一个面向静定梁力学问题的符号化评估数据集，基于BeamPERL框架构建。该数据集通过改进的SymBeam求解器对123个梁的力学构型进行符号化求解，涵盖支撑反力、剪力、弯矩、转角和挠度等完整力学响应。所有解均通过力与力矩平衡验证，确保数据准确性。数据生成流程由DataGen/generate_eval_v2.py脚本自动化完成，包括对原始24样本数据集（tphage/BeamRL-EvalData）的位等价包含。每个样本配以4种通过大语言模型生成的自然语言问题变体，其中query[0]被指定为评估任务的默认输入。

使用方法

该数据集可通过HuggingFace Datasets库直接加载，使用load_dataset('tphage/BeamRL-EvalData-v2')命令获取训练分割。每个样本包含configuration_id作为全局标识，力学特征以浮点数列表形式存储（如shear_force、deflection），而query与answer字段均为字符串列表，分别存储自然语言问题及对应的符号化答案。评估时建议默认采用query[0]作为输入，以与原始论文实验设置保持一致。数据集的类别信息通过category字段标记，便于分层评估，且支持利用parameters、segments等结构化字段进行可解释性分析或中间力学状态验证。

背景与挑战

背景概述

BeamRL-EvalData-v2数据集由麻省理工学院LAMM实验室的研究人员于2025年构建，旨在系统评估符号力学推理模型在梁结构问题上的求解能力。该数据集以BeamPERL框架（arXiv:2603.04124）为背景，针对材料力学中梁的支反力计算这一经典问题，设计了涵盖点荷载、分布荷载、力矩及变长度等多元工况的123个符号化算例。通过修改SymBeam求解器验证所有解的力与力矩平衡，并借助大语言模型生成自然语言查询变体，数据集为评估神经符号模型的泛化性能提供了标准化基准。其在力学推理测试中扮演关键角色，推动了符号推理与深度学习交叉领域的发展。

当前挑战

该数据集所解决的领域问题在于，现有力学推理评估往往局限于单一荷载类型或固定边界条件，难以反映真实工程中荷载组合与支撑变化的复杂性。BeamRL-EvalData-v2通过纳入跨域组合（如多荷载与变支撑位置）及连续分布荷载，系统性检验模型对符号力学概念的泛化能力。构建过程中面临的核心挑战包括：生成符号解时需严格平衡解析精度与算例多样性，LLM驱动的自然语言查询虽增加了测试维度，但其变体一致性难以完全保证；此外，确保不同配置下力与力矩自动验证的鲁棒性，避免符号退化解或数值近似错误，对数据质量保障提出了额外要求。

常用场景

经典使用场景

在结构力学与机器学习交叉研究领域，BeamRL-EvalData-v2数据集为评估大语言模型在符号推理任务上的能力提供了标准化测试基准。该数据集包含123个精心设计的简支梁力学问题，要求模型根据给定的载荷条件（如集中力、分布力或力偶）计算出支座反力，并以符号系数形式输出精确解。研究者通常利用该数据集检验模型是否具备将物理定律内化于符号操作的能力，从而衡量其超越简单模式匹配的真正推理水平。

解决学术问题

该数据集的发布系统性地填补了机器学习领域缺乏结构化物理推理基准的空白。它解决了如何定量评估语言模型在力学符号计算中泛化能力这一核心学术问题，尤其是针对分布外场景（如非标准支撑位置、多载荷组合、变梁长等情况）的鲁棒性。通过精细划分的八类测试子集，研究者能够诊断模型在单一维度扰动下性能退化的根源，为发展更具物理常识的神经符号系统指明了方向。

实际应用

在实际工程场景中，该数据集的价值体现在辅助自动化结构设计审查与智能辅助教学系统。工程教育平台可依托该基准训练出能对初学者提交的力学作业进行自动纠错的智能助教；结构设计软件则有望集成经此数据集验证的推理模块，在概念设计阶段快速核验工程师手动计算的支座反力，从而降低因人为疏忽导致的安全风险，提升设计流程的可靠性。

数据集最近研究

最新研究方向

在结构力学与机器学习交叉领域，BeamRL-EvalData-v2的发布标志着符号推理评估基准的重要升级。该数据集聚焦于梁力学问题的支反力计算，通过精心设计的六类分布外场景（包括多点荷载、变跨径、纯弯矩工况等），系统评估强化学习模型在结构化物理推理中的泛化能力。其核心价值在于揭示了当前大语言模型在处理符号力学问题时对训练分布偏移的脆弱性——即便最先进的模型在标准配置下表现优异，面对异质荷载组合或非典型支撑位置时准确率仍骤降。这一发现直接呼应了科学机器学习领域对神经符号系统的迫切需求，推动研究者将传统解析方法（如力平衡验证）嵌入数据生成管线以增强鲁棒性。数据集采用SymBeam求解器保证参考解的理论一致性，并通过大模型生成多样化自然语言查询，为评估语言驱动的工程推理提供了标准化平台，对智能结构设计辅助系统的可信度建设具有里程碑意义。