cf-group-4/cloth_folding_final_consistent_correct_2nd_fold

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=cf-group-4/cloth_folding_final_consistent_correct_2nd_fold"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 91, "total_frames": 148440, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:91" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.front": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset was created using LeRobot and focuses on robotic manipulation, specifically cloth folding tasks (inferred from the filename). It consists of 91 episodes with a total of 148,440 frames at 30 fps. Features include: 6-dimensional joint position actions (shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, gripper position), 6-dimensional joint position observation states, front-view camera images (480x640 resolution, RGB three channels), and metadata such as timestamp, frame index, and episode index. Data is stored in parquet format with chunking, suitable for imitation learning or reinforcement learning in robotics.

搜集汇总

数据集介绍

构建方式

在具身智能与机器人操作数据日益依赖标准化轨迹记录的背景下，该数据集依托LeRobot工具链完成构建，采用代码库v3.0格式组织。其元信息显示，数据涵盖91个episode、148440帧，全部划入训练拆分0:91，机器人类型为so_follower，任务数为1。动作与观测状态均以6维关节位置表示，涵盖肩部、肘部、腕部及夹爪等控制维度。样本按chunk与file粒度写入parquet，前视视频以mp4保存，由此形成动作、状态与视觉观测同步的机器人轨迹数据。

特点

作为布料折叠场景的机器人操作数据集，该数据集从命名可见聚焦于第二阶段折叠动作，并在数据层面强调一致性与正确性记录。其显著特征在于多模态同步：30fps下提供480×640前视RGB视频，采用AV1编码与yuv420p像素格式，无音频；同时给出六维关节位置动作与状态，以及时间戳、帧索引、回合索引、任务索引等辅助字段。91条轨迹累计148440帧，任务单一而拆分明确，便于对布料折叠这一精细操作中的时序变化与视觉-动作对应关系进行建模。

使用方法

面向机器人模仿学习与策略评估，该数据集可借助LeRobot或Hugging Face数据集接口读取。使用时可依据meta/info.json中的data_path与video_path定位parquet轨迹文件与mp4视频文件，将observation.state及observation.images.front作为策略输入，action作为监督目标，timestamp、frame_index、episode_index等用于序列切分与时间对齐。训练拆分覆盖0:91，用户可直接加载全部回合开展训练或交叉验证，亦可利用官方可视化空间检查轨迹质量。许可为Apache-2.0，便于在合规前提下进行学术与工程使用。

背景与挑战

背景概述

在具身智能与机器人学习领域，可变形物体操作长期被视为检验感知—规划—控制闭环能力的关键场景。该数据集 cloth_folding_final_consistent_correct_2nd_fold 聚焦衣物二次折叠任务，由 LeRobot 工具链生成，采用 so_follower 机器人，包含 91 个回合、148440 帧、30 fps 前视 RGB 视频，动作与状态均为 6 维关节位置，任务数为 1。README 未披露创建时间、主要研究人员、机构及论文，因此其学术影响力尚待评估；其命名强调一致性与正确性，可为模仿学习、视觉运动策略与长时程布料操作研究提供真实机器人数据基础。

当前挑战

在可变形物体操作研究中，衣物折叠面临高维状态、自遮挡、褶皱变化与材质差异等固有难题。该数据集需解决的核心领域问题是使机器人依据前视视觉与关节状态完成稳定且一致的二次折叠，并在长时程回合中抑制误差累积。构建过程中的挑战包括确保 91 个回合动作标注与视频帧严格同步、维持折叠步骤成功且一致、处理单视角遮挡与形变歧义，以及遵循 LeRobot v3.0 的 parquet、mp4 与元数据分块规范。单一任务、单一机器人本体和缺失论文信息亦限制跨本体泛化与可复现性评估。

常用场景

经典使用场景

在可变形物体机器人操作与模仿学习研究中，cloth_folding_final_consistent_correct_2nd_fold 以 LeRobot 格式记录了 so_follower 机械臂执行布料折叠第二阶段的一致正确演示，涵盖91条轨迹、148440帧、30fps前置RGB观测与六维关节位置及动作。其经典使用场景在于训练视觉-动作策略，使机器人依据实时图像与本体状态生成连续关节控制，完成从布料初始形态到目标折叠状态的序列操作。借助统一数据规范，研究者可开展行为克隆、离线策略评估与演示回放，将高质量折叠轨迹转化为可复现的基准实验。

解决学术问题

针对可变形物体操作中状态空间高维、拓扑变化频繁、视觉遮挡与误差累积等学术难题，该数据集提供第二阶段折叠的一致正确示范，缓解了真实机器人布料操作数据稀缺与示范噪声干扰问题。它可用于探究长视野任务分解、视觉运动表征、示范质量对策略鲁棒性的影响，并为模仿学习、多模态感知与机器人控制提供可复现实验基础。其意义在于推动布料折叠从仿真走向真实平台，影响柔性物体操作、家庭服务机器人及精细操作研究。

衍生相关工作

在 LeRobot 生态与机器人模仿学习社区中，该数据集作为可变形物体操作演示资源，常与 ACT、Diffusion Policy 等序列建模和生成式策略范式关联，催生围绕视觉-动作训练、离线强化学习及策略泛化的复现实验。其统一 parquet 与视频结构也便于派生数据集可视化、跨任务微调和 Sim2Real 迁移工作。尽管 README 未列出直接引用的命名论文，相关后续研究多沿袭高质量演示驱动策略学习的技术路线，推动布料折叠基准与开源机器人学习工具链发展。