RoboFAC Dataset

RoboFAC数据集是一个大规模、高多样性的数据集，包含机器人操作失败的视频，并标注了QA对以进行全面的失败推理。

The RoboFAC dataset is a large-scale and high-diversity collection that includes videos of robot operation failures, annotated with QA pairs for comprehensive failure reasoning.

原始信息汇总

RoboFAC数据集概述

基本信息

• 数据集名称: RoboFAC Dataset
• 官方仓库: https://github.com/MINT-SJTU/RoboFAC
• 论文地址: https://arxiv.org/abs/2505.12224
• 数据集地址: https://huggingface.co/datasets/MINT-SJTU/RoboFAC-dataset
• 模型地址: https://huggingface.co/MINT-SJTU/RoboFAC-7B

数据集特点

• 类型: 大规模机器人操作失败视频数据集
• 标注内容: 包含QA对用于全面失败推理
• 多样性: 涵盖多样化机器人任务、环境和视角
• QA类型: 包含8种不同类型的问题回答

主要功能

• 失败分析: 支持机器人任务理解、失败诊断和纠正计划
• 基准测试: 提供跨多任务和QA维度的严格评估基准
• 实际应用: 可集成到真实机器人控制流程中实现在线错误检测和纠正

评估方法

• 使用evaluation/eval.py脚本进行评估
• 采用vLLM引擎加速模型推理
• 评估结果保存在results_merged.json文件中

数据生成(可选)

• 环境要求: ManiSkill仿真环境
• 支持场景: ReplicaCAD和AI2THOR
• 包含成功轨迹收集脚本(位于data_collection/collect_success.py)

引用信息

bibtex @misc{lu2025robofaccomprehensiveframeworkrobotic, title={RoboFAC: A Comprehensive Framework for Robotic Failure Analysis and Correction}, author={Weifeng Lu and Minghao Ye and Zewei Ye and Ruihan Tao and Shuo Yang and Bo Zhao}, year={2025}, eprint={2505.12224}, archivePrefix={arXiv}, primaryClass={cs.RO}, url={https://arxiv.org/abs/2505.12224}, }

搜集汇总

数据集介绍

构建方式

在机器人故障分析与修正领域，RoboFAC数据集的构建采用了系统化方法。研究团队基于ManiSkill仿真平台，整合ReplicaCAD和AI2THOR两种仿真环境，通过程序化方式采集机器人操作失败的视频数据。数据集构建过程包含成功轨迹采集和故障场景模拟两个阶段，采用自动化脚本记录各类操作失败案例，并辅以人工校验确保数据质量。每个失败案例均标注了涵盖八种问题类型的问答对，形成多维度故障分析体系。

特点

作为机器人故障分析领域的前沿数据集，RoboFAC展现出显著的技术特色。数据集包含大规模机器人操作失败视频，覆盖多样化任务场景和环境配置。其核心价值在于精心设计的问答标注体系，包含任务理解、故障诊断和修正规划等多个认知层次的问题类型。数据集特别注重真实场景的还原度，通过仿真环境实现了物理精确的故障模拟，同时保持数据标注的语义丰富性，为模型训练提供立体化的学习素材。

使用方法

该数据集可通过HuggingFace平台便捷获取，支持端到端的机器人故障分析研究。使用者可直接加载预处理好的视频-问答数据对，用于训练视觉语言模型。评估环节提供标准化测试脚本，通过vLLM推理引擎加速模型性能测试。对于进阶研究，数据集允许扩展新的故障场景，用户可基于提供的采集脚本在仿真环境中补充数据。典型应用场景包括但不限于：训练故障诊断模型、开发在线纠错系统、以及评测机器人认知能力等跨维度研究。

背景与挑战

背景概述

RoboFAC数据集由上海交通大学MINT实验室于2025年推出，旨在构建一个全面的机器人故障分析与修正框架。该数据集以大规模视频问答对为核心，覆盖多样化机器人操作任务与环境场景，包含八种针对故障理解与修正的问答类型。作为机器人故障诊断领域的重要资源，其创新性体现在将视觉语言模型与实时控制系统相结合，为基于视频的机器人执行过程提供任务理解、故障诊断和修正规划能力。该数据集的发布显著推动了机器人自主纠错与安全控制研究的发展，并为视觉语言模型在机器人领域的应用提供了新的基准。

当前挑战

在解决机器人故障诊断这一核心问题上，RoboFAC面临多模态数据对齐的挑战，需要精确关联视频帧序列与故障语义描述。数据构建过程中，研究人员需克服高精度动作标注的复杂性，特别是在动态环境中捕捉机械臂操作的细微异常。跨场景泛化能力的实现要求数据集覆盖足够多样的故障模式，这对仿真环境配置与真实世界数据采集提出了极高要求。此外，在线纠错功能的实现需要解决低延迟推理与高精度诊断之间的平衡难题，这对模型架构设计提出了双重挑战。

常用场景

经典使用场景

在机器人操作领域，RoboFAC数据集通过其大规模、高多样性的机器人操作失败视频及标注的问答对，为研究者提供了一个全面的失败分析平台。该数据集广泛应用于机器人任务理解、失败诊断和纠正规划的研究中，特别是在视觉语言模型（VLA）的微调和评估中表现出色。

实际应用

在实际应用中，RoboFAC数据集被集成到机器人控制流程中，作为外部评估模块，实现在线错误检测和纠正。其应用场景包括工业自动化、家庭服务机器人以及复杂环境下的自主操作任务，显著提高了机器人系统的鲁棒性和适应性。

衍生相关工作

基于RoboFAC数据集，研究者开发了RoboFAC-7B模型，这是一个专为机器人失败分析和纠正而设计的大型视觉语言模型。此外，该数据集还催生了一系列关于机器人任务理解、失败诊断和纠正规划的学术研究，进一步拓展了机器人智能的边界。