franka-episodes-v1

Franka Episodes (Cube & Ball)数据集包含从Franka模拟中记录的RGB图像和每个剧集的JSON日志。这些剧集既包括脚本化的专家动作演示，也包括基于早期演示训练的行为克隆策略回放。数据集适用于模仿学习、对象检测和姿态估计的感知任务，以及控制策略评估。

原始信息汇总

Franka Episodes Dataset (Cube & Ball) 数据集概述

数据集基本信息

• 数据集名称：Franka Episodes (Cube & Ball, Poisoned)
• 许可协议：MIT License
• 标签：robotics, franka, imitation-learning, simulation, dataset, poisoned
• 数据总量：约7.58 GB
• 图像分辨率：640×480 RGB

数据内容与结构

主要内容

• RGB图像：包含70,010张PNG格式图像
• 每集JSON日志：共61个episode文件

目录结构

franka-episodes-v1/ ├─ episodes/ # JSON日志文件（每个episode一个文件） ├─ images/ # RGB图像帧（按episode组织子目录） └─ bc_models/ # 行为克隆检查点（可选，非必需）

数据特征

• episode数量：61个（其中60个包含图像）
• 每episode帧数：695至2104帧不等
• JSON文件包含的关键信息：episode_id, physics_type, robot_control, frames, task

特殊属性

数据污染说明

• 污染性质：故意污染，用于鲁棒性和对抗训练研究
• 污染形式：部分帧和/或episode被扰动或错误标记
• 研究用途：评估数据污染和对抗污染场景下的算法性能

数据生成与环境

• 仿真环境：Genesis Simulator with Franka Panda arm
• episode类型：
  • 脚本专家演示（拾取、放置、抛出）
  • 行为克隆策略rollout

应用场景

• 模仿学习：训练BC或DAGGER策略
• 鲁棒性研究：在污染数据下进行算法基准测试
• 感知任务：从图像帧中进行物体识别和姿态估计
• 策略评估：比较脚本与学习rollout的性能

版本信息

• 当前版本：v1.0（61个episode，约70k图像，7.58 GB，污染数据）
• 未来版本：可能包含更多任务、物体或真实世界数据

引用方式

bibtex @misc{franka_episodes_meid0, title = {Franka Episodes (Cube & Ball, Poisoned)}, author = {Hussain Alibrahim and Mohammed Aleid}, year = {2025}, url = {https://huggingface.co/datasets/MEID0/franka-episodes-v1} }

联系方式

• 在数据集页面开启讨论：https://huggingface.co/datasets/MEID0/franka-episodes-v1
• 通过Hugging Face个人资料联系：https://huggingface.co/MEID0

搜集汇总

数据集介绍

构建方式

在机器人仿真研究领域，数据集的构建质量直接影响算法性能评估的有效性。该数据集依托Genesis仿真环境，通过Franka Panda机械臂模拟系统采集数据，涵盖脚本化专家演示与行为克隆策略推演两种生成模式。专家演示基于预设的抓取、放置及投掷任务生成高精度轨迹，而行为克隆策略则通过从示范数据中学习并自主生成动作序列，最终形成包含元数据、机器人状态及控制输入的结构化日志与对应图像帧。

特点

该数据集的核心特点在于其专为鲁棒性研究设计的对抗性污染机制。数据集包含约7.58GB的61个 episodes，涵盖70,010张640×480分辨率的RGB图像，每episode帧数在695至2104之间不等。其独特之处在于部分帧或episode被故意注入噪声或错误标签，从而模拟现实世界中可能遇到的数据污染场景，为评估算法在对抗性环境下的稳定性提供重要基准。

使用方法

用户可通过HuggingFace Datasets库直接加载数据集，利用标准接口访问episode日志与关联图像。每个JSON日志文件包含episode_id、物理类型、控制输入及帧序列等关键字段，支持解析机器人状态与物体位姿信息。该数据集适用于模仿学习、对抗训练、感知任务及策略评估等多类研究，尤其适合用于在数据污染条件下测试算法的鲁棒性与泛化能力。

背景与挑战

背景概述

机器人模仿学习领域近年来在仿真环境数据采集方面取得显著进展，由Hussain Alibrahim和Mohammed Aleid于2025年发布的Franka Episodes数据集正是这一趋势的体现。该数据集基于Genesis仿真环境构建，专门针对Franka Panda机械臂操作任务，包含立方体和球体两种物体的操作演示。通过结合脚本专家演示与行为克隆策略 rollout 数据，该数据集为模仿学习算法提供了丰富的训练素材，同时其刻意引入的数据污染特性为鲁棒性研究开辟了新方向。

当前挑战

该数据集主要应对机器人操作任务中模仿学习算法的数据质量与鲁棒性挑战。在领域问题层面，需要解决高维视觉输入与连续控制输出的映射难题，以及从有限演示中泛化到新场景的能力局限。构建过程中面临的挑战包括仿真环境与真实世界的域差异问题，数据污染注入的合理性控制，以及大规模多模态数据（7.58GB视觉与状态数据）的同步采集与存储技术难题。

常用场景

经典使用场景

在机器人模仿学习领域，该数据集通过包含脚本专家演示和行为克隆策略 rollout，为研究者提供了标准化的仿真环境基准。其经典使用场景聚焦于训练视觉运动策略，使机械臂能够学习立方体和球体的抓取、放置及投掷等精细操作任务，同时支持跨模态数据（RGB图像与JSON日志）的联合分析。

解决学术问题

该数据集专门针对数据鲁棒性研究的空白，通过引入故意污染的数据子集，解决了对抗性训练和算法稳健性评估的学术需求。它为研究社区提供了检验模仿学习模型在噪声环境下的泛化能力的平台，显著推进了对抗机器学习在机器人领域的应用深度。

衍生相关工作

该数据集已衍生出多项经典研究工作，包括基于对抗样本的模仿学习鲁棒性增强框架、多模态数据融合的行为克隆算法改进，以及针对机械臂操作任务的异常检测模型。这些工作显著推动了机器人学习领域对数据质量与算法稳健性的交叉研究。