ywxia/fold_new_gt

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot - custom_eef configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). ## Dataset Description ## Data Distribution Overview  This figure summarizes the data distribution of the **ywxia/fold_new_gt** dataset, auto-generated after each conversion via `analysis/postprocess_with_overview.py`. It shows episode-length distribution, the 3-D EEF workspace, per-dimension state histograms, per-arm action magnitudes, and a sample of frames from each camera. **Task:** fold the box on the desk **Episodes:** 59 | **Frames:** 21259 | **FPS:** 15 | **Robot:** custom_eef ## Gripper Data Distribution Raw exported action-space gripper channels: | Arm | Action dim | Mean | Std | Min | Max | Median | P99 | Exact zero | | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | | left | 6 | 1.0000 | 0.0000 | 1.0000 | 1.0000 | 1.0000 | 1.0000 | 0.0% | | right | 13 | 1.0000 | 0.0000 | 1.0000 | 1.0000 | 1.0000 | 1.0000 | 0.0% | These numbers are computed from the raw dataset action channels before any ACT delta or rot6d transforms. - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v2.1", "robot_type": "custom_eef", "total_episodes": 59, "total_frames": 21259, "total_tasks": 1, "total_videos": 0, "total_chunks": 1, "chunks_size": 1000, "fps": 15, "splits": { "train": "0:59" }, "data_path": "data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet", "video_path": "videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4", "features": { "left_wrist_cam_0": { "dtype": "image", "shape": [ 224, 224, 3 ], "names": [ "height", "width", "channel" ] }, "left_wrist_cam_1": { "dtype": "image", "shape": [ 224, 224, 3 ], "names": [ "height", "width", "channel" ] }, "right_wrist_cam_0": { "dtype": "image", "shape": [ 224, 224, 3 ], "names": [ "height", "width", "channel" ] }, "right_wrist_cam_1": { "dtype": "image", "shape": [ 224, 224, 3 ], "names": [ "height", "width", "channel" ] }, "state": { "dtype": "float32", "shape": [ 7 ], "names": [ "state" ] }, "eef_state": { "dtype": "float32", "shape": [ 14 ], "names": [ "eef_state" ] }, "actions": { "dtype": "float32", "shape": [ 14 ], "names": [ "actions" ] }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```--- 许可证：Apache-2.0 任务类别： - 机器人学 标签： - LeRobot - custom_eef 配置项： - 配置名称：default 数据文件：data/*/*.parquet --- 本数据集基于[LeRobot](https://github.com/huggingface/lerobot)构建。 ## 数据集说明 ## 数据分布概览  本图表汇总了**ywxia/fold_new_gt**数据集的数据分布情况，该图表通过`analysis/postprocess_with_overview.py`在每次数据转换后自动生成。其涵盖了回合长度分布、三维末端执行器（End Effector, EEF）工作空间、各维度状态直方图、各机械臂动作幅值分布，以及各摄像头采集的帧样本。 **任务：** 将桌面上的纸盒折叠完成 **回合数：** 59 | **总帧数：** 21259 | **帧率：** 15 | **机械臂：** custom_eef ## 夹持器数据分布 原始导出的动作空间夹持器通道数据如下： | 机械臂 | 动作维度 | 均值 | 标准差 | 最小值 | 最大值 | 中位数 | 99分位数 | 零值占比 | | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | | 左机械臂 | 6 | 1.0000 | 0.0000 | 1.0000 | 1.0000 | 1.0000 | 1.0000 | 0.0% | | 右机械臂 | 13 | 1.0000 | 0.0000 | 1.0000 | 1.0000 | 1.0000 | 1.0000 | 0.0% | 上述统计值均基于未经ACT增量变换或rot6d旋转变换的原始数据集动作通道计算得到。 - **项目主页：** [需补充更多信息] - **论文：** [需补充更多信息] - **许可证：** Apache-2.0 ## 数据集结构 [meta/info.json](meta/info.json): json { "codebase_version": "v2.1", "robot_type": "custom_eef", "total_episodes": 59, "total_frames": 21259, "total_tasks": 1, "total_videos": 0, "total_chunks": 1, "chunks_size": 1000, "fps": 15, "splits": { "train": "0:59" }, "data_path": "data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet", "video_path": "videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4", "features": { "left_wrist_cam_0": { "dtype": "image", "shape": [ 224, 224, 3 ], "names": [ "height", "width", "channel" ] }, "left_wrist_cam_1": { "dtype": "image", "shape": [ 224, 224, 3 ], "names": [ "height", "width", "channel" ] }, "right_wrist_cam_0": { "dtype": "image", "shape": [ 224, 224, 3 ], "names": [ "height", "width", "channel" ] }, "right_wrist_cam_1": { "dtype": "image", "shape": [ 224, 224, 3 ], "names": [ "height", "width", "channel" ] }, "state": { "dtype": "float32", "shape": [ 7 ], "names": [ "state" ] }, "eef_state": { "dtype": "float32", "shape": [ 14 ], "names": [ "eef_state" ] }, "actions": { "dtype": "float32", "shape": [ 14 ], "names": [ "actions" ] }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ## 引用 **BibTeX格式：** bibtex [需补充更多信息]

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，fold_new_gt数据集依托LeRobot框架构建，专注于桌面折叠盒子的具体任务。该数据集通过采集59个完整操作片段，共计21259帧数据，以15帧每秒的速率记录。数据以Parquet格式存储，每个片段包含多模态信息，如左右腕部摄像头的视觉数据、机器人末端执行器状态及动作指令，并通过标准化处理确保数据的一致性与可复用性。

特点

该数据集的核心特征在于其丰富的多模态结构与精细的标注体系。视觉方面提供四路224x224分辨率的RGB图像，覆盖不同腕部视角；状态与动作空间则分别以7维和14维向量精确刻画机器人姿态与控制指令。数据分布经过统计分析，呈现了操作空间的三维工作区域及动作幅值直方图，为算法训练提供了高保真且结构化的仿真环境。

使用方法

利用fold_new_gt数据集时，研究者可通过LeRobot工具链直接加载Parquet文件，访问预划分的训练集。数据按片段与帧索引组织，支持并行读取；多模态特征可独立或联合用于模仿学习、强化学习等任务。典型应用包括训练视觉运动策略模型，通过末端执行器状态与动作序列的对应关系，学习折叠操作的闭环控制行为。

背景与挑战

背景概述

在机器人操作学习领域，模仿学习与强化学习依赖于高质量、多样化的真实世界交互数据。fold_new_gt数据集应运而生，专注于桌面环境下的折盒任务，旨在为机器人灵巧操作提供基准数据。该数据集由LeRobot平台构建，采用custom_eef机器人配置，包含59个完整交互序列与超过两万帧的多模态观测，涵盖双腕相机视觉、末端执行器状态及动作指令。其核心研究问题在于解决复杂物体形变操作中的策略泛化与状态表征难题，为机器人自主执行精细装配与包装任务奠定数据基础。

当前挑战

fold_new_gt数据集所针对的折盒任务，涉及非刚性物体的形变建模与多步骤序列规划，其核心挑战在于高维连续动作空间下的精确控制与视觉-状态对齐。数据构建过程中，需克服真实世界交互的数据采集效率瓶颈，确保动作指令的时序一致性，并处理多视角视觉观测的标定与同步问题。此外，数据分布的均衡性与任务场景的多样性亦构成显著挑战，直接影响模仿学习模型的泛化性能与鲁棒性。

常用场景

经典使用场景

在机器人操作学习领域，fold_new_gt数据集以其丰富的多模态数据为机器人折叠任务提供了经典范例。该数据集通过记录双腕摄像头图像、末端执行器状态及动作序列，完整捕捉了折叠盒子的动态过程，成为训练模仿学习与强化学习模型的理想素材。研究者可基于此数据集构建端到端的策略网络，模拟人类操作员的精细动作，从而推动机器人自主执行复杂变形任务的能力。

实际应用

在实际工业与家庭服务场景中，fold_new_gt数据集的应用潜力显著。它可助力开发自动化包装流水线，使机器人能够精准折叠各类纸箱或布料，提升生产效率。同时，该数据集也为家用服务机器人的衣物整理、物品收纳等任务提供了技术支撑，通过模仿学习实现柔性物体的灵巧操作，推动机器人技术在日常生活中的普及与实用化。

衍生相关工作

围绕fold_new_gt数据集，已衍生出多项经典研究工作。例如，基于其多模态数据融合的端到端控制框架，研究者提出了改进的模仿学习算法，以提升机器人动作的平滑性与准确性。此外，该数据集还激发了关于跨任务泛化与少样本学习的研究，通过迁移学习策略将折叠技能扩展至其他变形操作，进一步丰富了机器人操作学习的理论体系与应用边界。