franka_mam

Franka MAM Pick Up Front 数据集是基于 Franka Research 3 (FR3) 真机采集的双机位抓取数据，共包含 50 条轨迹。数据以 H5 格式存储，约 1.3 GiB。每条轨迹包含约 10,386 个观测和 10,336 个动作，采样频率约为 15 Hz。图像数据来自两个摄像头（base_camera 和 hand_camera），均为 RGB uint8 格式，分辨率 256×256。状态空间为 25 维，包括关节位置（9）、关节速度（9）和 TCP 位姿（7）。动作空间为 7 维，表示 Franka 基座坐标系下的绝对末端位置、XYZ 欧拉角和夹爪命令。数据已预处理，删除了每条原始数据前 1 秒的抖动。该数据集适用于机器人模仿学习、操纵任务等研究，不包含成功标志、终止或截断信息。配套文档详细说明了字段、坐标系和角度定义，以及预处理方案和校验报告。The Franka MAM Pick Up Front dataset is a dual-camera grasping dataset collected on a real Franka Research 3 (FR3) robot, containing 50 trajectories. The data is stored in H5 format, approximately 1.3 GiB. Each trajectory consists of about 10,386 observations and 10,336 actions, with a sampling frequency of approximately 15 Hz. Image data comes from two cameras (base_camera and hand_camera), both in RGB uint8 format with a resolution of 256×256. The state space is 25-dimensional, including joint positions (9), joint velocities (9), and TCP pose (7). The action space is 7-dimensional, representing absolute end-effector position, XYZ Euler angles, and gripper command in the Franka base coordinate system. The data has been preprocessed by removing the first second of jitter from each raw trajectory. The dataset is suitable for research in robot imitation learning and manipulation tasks, and does not contain success flags, terminations, or truncations. The accompanying documentation provides detailed descriptions of fields, coordinate systems, angle definitions, preprocessing schemes, and validation reports.

原始信息汇总

Franka MAM：pick_up_front 数据集概述

基本信息

• 数据集名称：Franka MAM：pick_up_front
• 语言：中文
• 标签：机器人学、Franka、模仿学习
• 数据来源：Franka Research 3（FR3）真机双机位抓取数据

数据规模

• 轨迹数量：共 50 条轨迹
• observation/action 数量：10,386 / 10,336
• 数据频率：约 15 Hz
• 数据文件大小：约 1.3 GiB

文件结构

文件路径	说明
data/pick_up_front_raw.h5	训练前的统一 H5 数据（约 1.3 GiB）
docs/franka_real_data_format.md	完整字段、坐标系和角度定义说明
docs/franka_pick_up_front_preprocess_plan.md	预处理方案文档
docs/franka_pick_up_front_preprocess_report.md	实际处理结果和校验报告

数据规格

• 图像数据：包含 base_camera（基座相机）和 hand_camera（手部相机），RGB 格式，uint8 类型，分辨率为 256×256
• state 维度：共 25 维，由 qpos(9) + qvel(9) + tcp_pose(7) 组成
• action 维度：共 7 维，包含 FR3 base frame 下的绝对末端位置、XYZ 欧拉角和夹爪命令

数据预处理

• 已删除每条原始数据前 1 秒的抖动
• 数据中不包含 success、terminated 或 truncated 字段

数据校验

• H5 文件 SHA-256 校验值：6fa373bce92a0a68e098d2dc7ffeb16ed54f5f3a096f2d90ed84274546b91c0d

使用说明

使用前需阅读 docs/franka_real_data_format.md 文档，了解完整的字段定义、坐标系和角度说明。可通过 Python 的 h5py 库读取数据，示例代码如下：

python import h5py

with h5py.File("pick_up_front_raw.h5", "r") as f: actions = f["traj_0/actions"][:] qpos = f["traj_0/obs/agent/qpos"][:] base_rgb = f["traj_0/obs/sensor_data/base_camera/rgb"][:]

搜集汇总

数据集介绍

构建方式

该数据集基于Franka Research 3（FR3）真机平台，通过双机位视觉系统采集机器人执行‘正面抓取’任务的操作轨迹，共包含50条演示数据。数据采集频率约为15赫兹，每条轨迹均同步记录了来自基础相机与手部相机的RGB图像（256×256分辨率）以及机器人的关节状态与末端执行器位姿。为了确保数据质量，原始数据中每一轨迹开头的1秒抖动段已被移除，并以统一的H5格式存储，同时提供了详尽的字段定义与坐标系说明文档，为后续的数据处理与算法验证奠定了坚实基础。

使用方法

使用该数据集时，研究者可借助h5py库便捷地访问各轨迹数据，如读取关节位置、动作序列及相机图像。建议先仔细阅读docs目录下的数据格式说明文档，以全面理解字段含义、坐标系及角度定义，确保数据正确解析与复现。该数据集适用于模仿学习、行为克隆、机器人操作技能学习等任务，可作为训练与评估基准，助力机器人自主抓取能力的提升。此外，配套的预处理方案与校验报告提供了数据清洗的参考流程，便于用户根据实际需求进行自定义扩展。

背景与挑战

背景概述

在机器人操作领域，模仿学习作为一种从示范中提取策略的范式，正日益受到关注。Franka MAM 数据集由研究团队于2023年创建，基于Franka Research 3机器人平台，旨在为双机位抓取任务提供高质量的轨迹数据。该数据集包含50条真实机器人操作轨迹，频率约为15 Hz，涵盖了视觉传感器（基座相机与手部相机）和状态信息（关节位置、速度及TCP位姿）等关键模态，为学习细粒度操作策略提供了基准。其发布填补了中文环境中机器人抓取任务真实数据集的空白，对推动视觉-运动控制联合建模、减轻仿真到现实迁移的差距具有显著影响力。

当前挑战

该数据集所解决的领域问题主要聚焦于机器人抓取操作的策略学习，其挑战在于从高维视觉和状态空间中准确推断末端执行器的绝对位姿与夹爪动作，尤其在光照变化、目标物位置扰动等现实条件下保持鲁棒性。在构建过程中，团队面临多项技术难题：原始数据的抖动噪声需被精确去除，以保证轨迹平滑性；传感器标定和坐标系转换（如工具中心点及欧拉角定义）的标准化要求严苛，否则导致策略泛化性能退化；此外，数据采集频率与多机位同步问题亦对硬件系统提出了高要求，最终通过精心设计的预处理方案和对齐校验流程，得以产出高质量数据。

常用场景

经典使用场景

Franka MAM抓取数据集是机器人操作学习领域中一项精心构建的资源，它捕获了Franka Research 3机械臂执行前方桌面物体抓取任务的完整运动轨迹。该数据集包含50条专家演示，配备高频率的关节状态、末端执行器位姿以及双目视觉观测，为模仿学习算法提供了训练与评估的基准。研究者利用此数据集可探索端到端视觉运动策略的泛化能力，或结合逆强化学习框架解构专家行为的内在奖励结构，从而推动机器人精细操作技能的自主习得。

解决学术问题

该数据集着力解决机器人操作研究中长期存在的样本效率低下与跨实体迁移困难等核心瓶颈。通过提供校准齐备的传感信息和统一的动作空间定义，它使学术界能够在标准化环境下比较不同模仿学习架构的性能，从而揭示网络容量、表示学习策略与任务复杂度之间的内在关联。其明确定义的坐标系和预处理流程，为消融实验提供了可靠支撑，促进了从观察空间到动作映射的理论验证，同时也为多模态融合、时序建模等前沿课题提供了实证数据基础。

实际应用

在工业自动化与物流分拣等领域中，此类抓取数据集支撑了柔性生产线上机器人对未知工件进行自适应拾取的实际部署。基于该数据训练的模型可直接迁移至电商包裹分拣、小型零部件装配等场景，减少人工示教成本。其双机位视觉配置与高频动作记录，亦为离线强化学习在真实世界中的安全试错提供高保真环境模拟数据，助力机器人系统在复杂动态环境中实现稳健的抓取策略。

数据集最近研究

最新研究方向

基于Franka Research 3真机平台采集的50条双机位抓取轨迹，该数据集在模仿学习领域的前沿探索中，聚焦于高精度操作技能的迁移与泛化。其统一H5格式与25维状态、7维动作空间的规范定义，为多模态传感融合（RGB图像与关节状态）的端到端策略学习提供了标准基准。结合当前具身智能热点，该数据有助于研究少样本条件下的操作技能习得，推动机器人从单一场景任务向复杂环境自适应抓取的关键技术突破，对提升工业与家政场景下的机器人自主作业能力具有深远意义。