FIRM

FIRM（工业柔性物体机器人操作基准）是一个基于真实工业数据的机器人操作基准数据集，专注于处理具有混合刚度的柔性物体操作任务。数据集包含从实际生产线环境和高保真物理复制品中收集的专家遥操作演示，涵盖了如说明书、电源线、海绵垫、胶带和纸板组件等物体，这些物体在生产线的约束下会表现出弯曲、滑动、滚动、压缩、弹性恢复以及柔性-刚性接触等复杂物理行为。数据以多模态形式记录，包括多视角 RGB-D 观测、机器人末端执行器位姿、夹爪状态、动作序列增量、帧索引、任务元数据以及可用的成功或完成标注。数据集按具体操作场景组织为多个文件夹，例如“Cable&Mouse”（电缆和鼠标相关操作）、“Manual1/Manual2”（说明书插入演示）、“Manufacturing_Lines_Box”（真实生产线纸箱操作）、“Sponge_Pad”（海绵垫放置）和“Tape”（胶带操作）等，共九类场景。FIRM 定义了五类代表性的工业柔性物体操作任务：1) 说明书插入（平面薄片，挑战在于对齐、受限插入和避免折叠/折痕）；2) 电缆操作（一维柔性物体，挑战在于弯曲刚度、布线和避免缠绕）；3) 纸箱折叠（铰接结构，挑战在于按压、折叠和类似铰链的变形）；4) 海绵垫放置（体积可变形物体，挑战在于压缩、恢复和放置覆盖）；5) 胶带操作（闭环物体，挑战在于滚动、滑动和方向控制）。数据集旨在支持超越二进制成功判定的评估，其核心是变形感知评估协议（DAP）。DAP 包含四个评估维度：完成质量（衡量任务终止前的完成程度）、变形感知执行质量（关注超出容差范围的物理结果，而非惩罚必要变形）、扰动鲁棒性（评估策略在受控场景变化下的有效性）以及故障模式诊断（将失败或部分完成的片段归类为可解释的故障模式，如抓取失败、对齐失败、滑动等）。该数据集适用于工业机器人操作基准测试、模仿学习策略训练、视觉-语言-动作策略适配、离线策略评估、数据缩放分析、故障模式诊断以及变形感知操作评估。数据集采用 Creative Commons Attribution 4.0 International License (CC-BY-4.0) 许可发布，并强调了负责任的人工智能使用伦理，旨在改善危险、重复或符合人体工程学挑战的工业任务中的机器人操作，同时提醒需进行任务特定的安全验证。

FIRM (Flexible Industrial Robotic Manipulation Benchmark) is a robot manipulation benchmark dataset based on real industrial data, focusing on handling flexible object manipulation tasks with mixed stiffness. The dataset includes expert teleoperation demonstrations collected from actual production line environments and high-fidelity physical replicas, covering objects such as manuals, power cables, sponge pads, tape, and cardboard assemblies, which exhibit complex physical behaviors like bending, sliding, rolling, compression, elastic recovery, and flexible-rigid contact under production line constraints. Data is recorded in a multimodal form, including multi-view RGB-D observations, robot end-effector poses, gripper states, action sequence increments, frame indices, task metadata, and available success or completion annotations. The dataset is organized into multiple folders based on specific manipulation scenarios, such as Cable&Mouse (cable and mouse-related operations), Manual1/Manual2 (manual insertion demonstrations), Manufacturing_Lines_Box (real production line box operations), Sponge_Pad (sponge pad placement), and Tape (tape operations), totaling nine categories. FIRM defines five representative industrial flexible object manipulation tasks: 1) Manual insertion (planar sheets, with challenges in alignment, constrained insertion, and avoiding folding/creasing); 2) Cable manipulation (1D flexible objects, with challenges in bending stiffness, routing, and avoiding entanglement); 3) Box folding (articulated structures, with challenges in pressing, folding, and hinge-like deformation); 4) Sponge pad placement (volumetric deformable objects, with challenges in compression, recovery, and placement coverage); 5) Tape manipulation (closed-loop objects, with challenges in rolling, sliding, and directional control). The dataset aims to support evaluation beyond binary success judgments, with its core being the Deformation-Aware Evaluation Protocol (DAP). DAP includes four evaluation dimensions: completion quality (measuring the degree of completion before task termination), deformation-aware execution quality (focusing on physical outcomes beyond tolerance ranges, rather than penalizing necessary deformations), perturbation robustness (evaluating the effectiveness of strategies under controlled scenario variations), and failure mode diagnosis (categorizing failed or partially completed episodes into interpretable failure modes, such as grasp failure, alignment failure, sliding, etc.). This dataset is suitable for industrial robot manipulation benchmarking, imitation learning policy training, vision-language-action policy adaptation, offline policy evaluation, data scaling analysis, failure mode diagnosis, and deformation-aware manipulation evaluation. The dataset is released under the Creative Commons Attribution 4.0 International License (CC-BY-4.0) and emphasizes responsible AI use ethics, aiming to improve robot manipulation in hazardous, repetitive, or ergonomically challenging industrial tasks, while reminding the need for task-specific safety verification.

搜集汇总

数据集介绍

构建方式

FIRM数据集以真实工业生产线为背景，通过遥操作专家演示的方式，在主动生产线环境与高保真物理复刻场景中同步采集多视角RGB-D观测、机器人状态、夹爪状态及动作序列。数据集涵盖混合刚度柔性物体的操作，包括说明书、电源线、海绵垫、胶带和纸板等。每个轨迹按任务与来源组织为独立文件夹，如实际生产线演示与物理复刻场景的对应子集，确保数据来源的多样性和真实性。

特点

该数据集的核心特点在于其面向工业柔性物体操作的基准性与诊断能力。内置基于形变感知的评估协议DAP，从完成质量、形变感知执行质量、扰动鲁棒性与故障模式诊断四个维度进行深入分析，超越传统的二元成功判定。数据模态丰富，兼容模仿学习与视觉-语言-动作策略流水线，支持策略训练、离线评估和形变感知分析，尤其注重对非刚性物体在产线约束下的弯曲、滑移、弹性恢复等物理行为的建模。

使用方法

使用FIRM数据集时，可通过HuggingFace直接下载按任务分类的文件夹，每个演示片段包含多视图观测、末端执行器位姿、夹爪状态和增量动作等模态。数据集设计为与LeRobot等模仿学习框架兼容，使用者可将轨迹序列化为标准格式后用于策略训练。评估时需依据DAP协议，计算完成质量、形变感知执行质量等指标，并针对扰动场景和失败模式进行诊断分析，以全面衡量策略在工业柔性操作任务上的表现。

背景与挑战

背景概述

FIRM是一个面向工业柔性物体机器人操作的基准数据集，由匿名研究团队在2026年创建，其核心研究问题聚焦于工业产线中混合刚度物体的灵巧操作。该数据集涵盖说明书、电缆、海绵垫、胶带及纸板组件等典型工业柔性物体，其引入的变形感知评估协议（DAP）突破了传统二元成功评判的局限，从完成质量、执行保形性、扰动鲁棒性和故障模式诊断等多维度量化操作性能。FIRM填补了工业柔性操作领域缺乏系统性评估标准的空白，为模仿学习与视觉-语言-动作策略提供了兼具真实性与诊断性的实验平台，有望推动机器人从实验室环境向复杂工业场景的迁移应用。

当前挑战

FIRM所解决的领域挑战源于工业柔性物体的物理复杂性与产线约束——这些物体在操作中呈现弯曲、滑动、滚动、压缩、弹性恢复及柔性-刚性接触等耦合形变行为，传统刚性物体操控范式难以应对其非线性动力学特性。从构建视角看，数据集面临三重挑战：首先，在真实产线环境中采集多视角RGB-D与机器人状态的高质量示教数据需克服设备部署与工位干扰；其次，混合刚度物体的形变难以统一建模，导致动作标注中需精细划分完成质量与保形性指标；最后，扰动鲁棒性评估要求系统控制物体位姿、材料响应等变量，这对数据采集的标准化与可重复性提出了苛刻要求。

常用场景

经典使用场景

在工业机器人操作领域，柔性物体的操控长期面临变形不可控、接触状态复杂等核心挑战。FIRM数据集聚焦于混合刚度物体的精密操作，涵盖说明书插入、线缆布线、海绵垫放置、胶带缠绕及纸盒折叠等典型工业任务。其经典使用场景在于提供多视角RGB-D观测、机器人状态与动作序列的专家遥操作演示数据，支持模仿学习与视觉-语言-动作策略的训练与离线评估。通过引入形变感知评估协议（DAP），该数据集突破了传统二元成功/失败判定的局限，从完成质量、执行形变、扰动鲁棒性及故障模式诊断四个维度量化策略表现，为工业柔性操作策略的精细调优与诊断分析奠定了标准化评测基础。

解决学术问题

学术界在柔性物体操作研究中长期受困于形变建模困难、真实工业数据匮乏以及评估指标单一等问题。FIRM数据集的发布系统性地解决了上述瓶颈：首先，其采集自真实产线环境与高保真物理副本，提供了包含弯曲、滑移、滚动、压缩、弹性恢复及柔-刚接触等复杂物理交互的高质量演示数据，填补了工业级混合刚度物体操作基准的空白。其次，形变感知评估协议（DAP）通过分解完成质量、形变执行质量、扰动鲁棒性与故障模式诊断等维度，重新定义了策略性能评价体系，使得研究者能够深入理解策略在非理想物理条件下的行为边界。这一工作推动了从粗糙的二元分类向精细化、可解释的评估范式的转变，为开发形变鲁棒的泛化操作策略提供了理论支撑和实验依据。

衍生相关工作

FIRM数据集的发布催生了一系列富有影响力的衍生研究工作。在模仿学习框架下，研究者基于其多模态观测数据探索了视觉-语言-动作模型的跨任务泛化能力，将说明书插入与线缆布线等任务整合至统一条件策略中。在形变感知评估方面，DAP协议启发了面向柔性体操作的对比学习与异常检测方法，推动了基于物理仿真的故障模式自动标注技术。此外，该数据集为数据规模效应分析提供了实验平台，促使学界深入探讨演示数据量与操作成功率、形变鲁棒性之间的非线性关系。部分工作还将其与LeRobot等标准化工具箱集成，简化了轨迹预处理与策略复现流程，进一步降低了工业柔性操作研究的入门门槛，加速了该领域从实验室验证向真实产线部署的转化进程。