COFFAIL

COFFAIL是由查尔姆斯理工大学和波恩-莱茵-锡格应用科学大学联合开发的机器人操作数据集，聚焦咖啡制备场景下的多模态技能执行数据。该数据集包含127条记录（含79次成功和48次异常执行），涵盖单臂/双臂操作的7类家庭任务技能，采集了RGB图像、关节数据、末端执行器位姿等多元信息。数据通过脚本控制与示教学习混合方式获取，特别设计包含物体缺失、摄像头遮挡等典型异常场景。该数据集旨在推动模仿学习、异常检测及故障恢复算法的研究，为构建鲁棒的机器人学习系统提供基准资源。

COFFAIL is a robotic manipulation dataset jointly developed by Chalmers University of Technology and Bonn-Rhein-Sieg University of Applied Sciences, focusing on multimodal skill execution data in coffee preparation scenarios. This dataset contains 127 records, including 79 successful executions and 48 anomalous ones, covering 7 types of household task skills for both single-arm and dual-arm operations. It collects diverse modalities of data such as RGB images, joint states, end-effector poses and more. The dataset is gathered through a hybrid method combining scripted control and learning from demonstration, with specially designed typical anomalous scenarios including missing objects and camera occlusions. This dataset aims to promote research on imitation learning, anomaly detection and fault recovery algorithms, providing benchmark resources for building robust robotic learning systems.

原始信息汇总

COFFAIL: 咖啡制备场景下机器人技能成功与异常执行数据集

数据集概述

• 数据集名称: COFFAIL: A Dataset of Successful and Anomalous Robot Skill Executions in the Context of Coffee Preparation
• 发布日期: 2026年1月11日
• 版本: v1
• 访问权限: 开放
• 资源类型: 数据集
• 发布者: Zenodo
• DOI: https://doi.org/10.5281/zenodo.18212316

作者与机构

• 作者/创建者:
  • Mitrevski, Alex (Researcher) - 查尔姆斯理工大学
  • Salunke, Ayush (Data collector) - 波恩-莱茵-锡格应用技术大学

数据集描述

• 内容: 包含Jessie机器人在咖啡制备场景下执行七种不同技能的成功和异常执行片段。
• 收集方式: 所有片段均通过演示收集（通过执行手写代码脚本产生期望行为或使用动觉教学）。
• 涵盖技能:
  1. 从台面上拿起杯子
  2. 通过推动移动杯子
  3. 将液体从一个杯子倒入另一个杯子（注：出于安全考虑，试验中未使用真实液体）
  4. 将杯子放置在台面上
  5. 拿起茶匙
  6. 搅拌
  7. 将勺子放入水槽中
• 数据内容:
  • 观察数据:
    • RGB图像（尺寸266x200像素），来自头部摄像头和安装在每只手臂上的腕部摄像头（对于单臂执行的技能，不收集静止手臂的腕部图像）
    • 关节状态（测量的位置、速度和力矩）
    • 末端执行器位姿（相对于手臂基座）
  • 动作数据: 以末端执行器增量运动形式（x, y, z位置变化和滚转、俯仰、偏航方向变化）

数据格式

• 存储格式: 数据以类似RLDS的格式保存，但采用MongoDB数据库形式。
• 数据库构成: 包含15个独立的数据库转储文件:
  • 7个对应成功执行片段（所有技能共79个成功片段）
  • 7个对应存在执行异常的片段（所有技能共48个异常片段）
  • 1个包含异常标注的数据库（异常使用时间间隔进行标注，即标注条目包括每个异常的开始和结束时间，以及对异常内容的说明）
• 数据结构:
  • 在执行片段对应的数据库中，每个集合对应一个单独的片段，每个文档对应一个执行步骤。
• 注意事项: 记录包含每次技能执行前后的空闲状态；如果数据用于策略学习，应将这些状态过滤掉。

文件详情

• 总数据量: 14.1 GB
• 文件列表:
  • Anomaly-Annotations.zip (46.1 kB)
  • Move-Cup-Anomalous.zip (693.7 MB)
  • Move-Cup-Successful.zip (1.1 GB)
  • Pickup-Cup-Anomalous.zip (678.4 MB)
  • Pickup-Cup-Successful.zip (1.5 GB)
  • Pickup-Spoon-Anomalous.zip (889.7 MB)
  • Pickup-Spoon-Successful.zip (1.0 GB)
  • Place-Cup-Anomalous.zip (559.7 MB)
  • Place-Cup-Successful.zip (874.3 MB)
  • Place-Spoon-in-Sink-Anomalous.zip (682.1 MB)
  • Place-Spoon-in-Sink-Successful.zip (1.0 GB)
  • Pour-Coffee-Anomalous.zip (2.1 GB)
  • Pour-Coffee-Successful.zip (1.8 GB)
  • Stir-Coffee-Anomalous.zip (304.9 MB)
  • Stir-Coffee-Successful.zip (761.0 MB)

使用工具

• Python包: 提供了一个用于处理COFFAIL数据集的Python包，位于仓库: https://github.com/KEROL-project/coffail-utils/

资助信息

• 波恩-莱茵-锡格应用技术大学
• KEROL

许可信息

• 许可证: 知识共享署名4.0国际许可协议
• 说明: 该许可允许在适当署名创作者的前提下重新分发和重复使用已许可的作品。

引用格式

• 推荐引用: Mitrevski, A., & Salunke, A. (2026). COFFAIL: A Dataset of Successful and Anomalous Robot Skill Executions in the Context of Coffee Preparation [Data set]. Zenodo. https://doi.org/10.5281/zenodo.18212316

访问统计（截至页面记录）

• 总浏览量: 53
• 总下载量: 30
• 总数据下载量: 28.1 GB

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，高质量的数据集对于推动技术进步至关重要。COFFAIL数据集构建于厨房环境中，通过名为Jessie的双臂移动操作机器人采集。该机器人配备RGB-D摄像头，包括头部全局视角和两个腕部摄像头，用于捕捉视觉信息。数据采集涵盖咖啡制备相关的七项技能，如拾取杯子、倾倒等，每项技能均包含成功与异常执行片段。异常场景设计多样，涉及物体缺失、摄像头遮挡、碰撞等情形，部分技能采用双手操作以增加复杂性。数据通过预编码脚本和动觉示教两种方式收集，确保行为多样性与可控性，同时记录图像、关节数据、末端执行器位姿及动作增量等多模态信息。

特点

COFFAIL数据集的核心特点在于其同时包含成功与异常执行片段，这为机器人学习提供了更全面的训练资源。与仅关注成功案例的数据集不同，COFFAIL涵盖了多种异常类型，如物体缺失、临时摄像头遮挡及执行失败等，并附有手动标注的异常起止时间与文本描述。数据集聚焦于日常家庭任务，特别是咖啡制备场景，涉及七项关键技能，其中部分技能采用双手操作，增强了任务的真实性与复杂性。数据采集完全基于实体机器人，避免了仿真数据可能存在的真实性偏差，且所有视觉数据仅依赖机器人本体摄像头，无需外部固定相机，提升了在动态环境中的适用性。

使用方法

COFFAIL数据集适用于多种机器人学习研究场景，尤其为模仿学习、异常检测与故障恢复算法的开发提供了实证基础。在模仿学习应用中，研究者可利用成功执行片段训练策略网络，例如基于卷积神经网络的端到端策略，通过最小化预测动作与真实动作之间的均方误差来学习技能。对于异常检测研究，数据集中标注的异常片段可用于训练或评估模型识别执行偏差的能力。此外，结合成功与异常数据，可进一步探索故障诊断与恢复策略的学习，例如构建预测模型或提取执行规则以增强机器人操作的鲁棒性。数据集已公开并提供处理工具，便于研究者快速进行算法原型开发与验证。

背景与挑战

背景概述

在机器人操作学习领域，精心策划的数据集是推动技术前沿的关键资源。COFFAIL数据集由波恩-莱茵-锡格应用科学大学和查尔姆斯理工大学的Alex Mitrevski与Ayush Salunke于2026年创建，聚焦于家庭环境中的咖啡制备任务。该数据集的核心研究问题在于弥补现有机器人技能执行数据集中普遍缺乏异常执行记录的空白，旨在为开发具备故障检测与恢复能力的鲁棒性学习算法提供基础。通过包含成功与异常的双模态执行片段，并引入少量双手操作示例，COFFAIL为机器人模仿学习、异常诊断等研究方向提供了珍贵的实证数据，有望提升日常场景中机器人系统的适应性与可靠性。

当前挑战

COFFAIL数据集致力于解决机器人操作学习中异常检测与恢复这一关键领域挑战。现有大规模数据集通常仅收录成功执行数据，导致算法难以识别和处理执行过程中的意外故障，限制了机器人在动态真实环境中的实际部署效果。在构建过程中，研究团队面临多重挑战：需在厨房环境中利用实体机器人系统采集多技能数据，同时确保异常场景（如物体缺失、相机遮挡、碰撞等）的安全可控模拟；数据采集需协调多传感器（头部与腕部相机）并处理异构数据流；此外，为增强数据多样性，部分演示需通过动觉教学实现，这对操作一致性与数据标注精度提出了较高要求。

常用场景

经典使用场景

在机器人操作学习领域，COFFAIL数据集以其涵盖成功与异常执行场景的独特设计，为模仿学习提供了丰富的训练素材。该数据集聚焦于咖啡制备这一日常任务，通过双机械臂操作与单臂技能的结合，模拟了家庭环境中常见的复杂交互过程。研究者可利用其多模态数据，包括视觉图像、关节状态与末端执行器动作，构建端到端的策略网络，从而在真实世界场景中验证算法的泛化能力与鲁棒性。

解决学术问题

COFFAIL数据集针对机器人学习领域长期存在的缺陷，即现有数据集多仅包含成功案例，难以支持异常检测与恢复机制的研究。通过系统收录碰撞、物体缺失、摄像头遮挡等多种故障模式，该数据集为开发故障感知的学习算法提供了关键基础。其意义在于推动了机器人执行监控、诊断与自适应修正等核心问题的探索，促进了从单纯策略模仿向全面鲁棒性保障的范式转变。

衍生相关工作

基于COFFAIL数据集的多模态特性与异常标注，衍生研究可深入探索执行监控与故障诊断的融合框架。例如，结合时序预测模型与规则提取方法，构建能够实时识别技能执行偏差的监测系统。同时，该数据集支持跨技能泛化研究，为开发统一的多任务学习架构提供验证平台，进一步推动如反射式经验总结、传感器融合异常检测等方向的发展。