cf-group-4/cloth_folding_grasp_corpus_v2_plus_may_consistent_64

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=cf-group-4/cloth_folding_grasp_corpus_v2_plus_may_consistent_64"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so_follower", "total_episodes": 251, "total_frames": 373940, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 30, "splits": { "train": "0:251" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.front": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset is a robotics dataset created using LeRobot. It consists of 251 episodes with a total of 373,940 frames at 30 fps. The dataset uses the so_follower robot type and is stored in parquet and video files, with a total data file size of 100 MB and video file size of 200 MB. Features include actions (e.g., positions of shoulder, elbow, wrist joints), observation states (robot joint positions), observation images (from a front camera, resolution 480x640, RGB channels), timestamp, frame index, episode index, index, and task index. The dataset is primarily intended for robotics control and learning tasks, such as imitation learning or reinforcement learning, but specific task descriptions are not explicitly provided in the README.

搜集汇总

数据集介绍

构建方式

在机器人学习与可变形物体操作研究领域，高质量示范数据的构建是策略泛化的基础。该数据集依托LeRobot框架创建，机器人平台为so_follower，围绕布料折叠抓取这一单一任务采集251个回合、373940帧、30帧每秒的时序数据。构建过程将每一回合的动作、本体状态与前置视觉观测同步记录，按分块策略组织为Parquet数据文件与AV1编码视频，训练集划分覆盖0至251回合，并保留时间戳、帧索引、回合索引与任务索引等元信息。

特点

面向布料折叠与抓取这类接触丰富、状态可变的机器人操作场景，数据集的特征设计需兼顾控制信号与视觉反馈。其动作空间与观测状态均为6维，涵盖肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转及夹爪位置；视觉观测为480×640三通道前置视频，采用AV1与yuv420p编码，帧率30Hz，无音频。全数据集含251个回合、373940帧，仅对应一个任务，并以1000为分块单位、约100MB数据文件与200MB视频文件组织，遵循Apache-2.0许可，呈现出单任务、长时序、多模态同步的机器人学习语料特征。

使用方法

在模仿学习与视觉运动策略研究中，数据集的调用方式直接影响训练流程的可复现性。该数据集遵循LeRobot数据格式，HuggingFace配置名为default，数据文件位于data/*/*.parquet，视频位于videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4，训练划分覆盖0至251回合。使用者可借助LeRobot工具读取meta/info.json中的特征定义，将observation.images.front与observation.state作为策略输入，以action作为监督目标，开展行为克隆、模仿学习或机器人控制策略训练；亦可通过HuggingFace可视化空间在线查看回合与视频片段。

背景与挑战

背景概述

机器人学习领域近年借助大规模示教语料推动视觉-运动策略从刚性物体操作向可变形物体操作拓展，布料折叠与抓取因其状态高维、形变复杂而成为具身智能研究的重要试验场景。该数据集名为 cloth_folding_grasp_corpus_v2_plus_may_consistent_64，由 LeRobot 框架构建，遵循 Apache-2.0 许可，任务类别归入机器人学。详情页显示其采用 so_follower 机器人，包含 251 个 episode、373940 帧、30 fps 采样与 1 项任务，观测涵盖 6 自由度关节状态、夹爪位置及前置 480×640 视频，动作空间与状态表示相对应。其核心研究问题指向基于视觉示教的布料折叠抓取策略学习。创建时间、具体研究人员或机构、论文与引用信息尚未在详情页披露，故其学术影响力需待更多元数据公开后评估。

当前挑战

可变形物体操作构成机器人学习中的典型难题，布料折叠与抓取要求系统在视觉遮挡、形变连续、接触状态不确定及长时序依赖下完成感知与决策，同时保持动作轨迹的稳定性和抓取点选择的合理性。该数据集以单一任务、251 个 episode 和 30 fps 多模态记录回应上述领域问题，但构建过程面临若干现实挑战：真实机器人示教数据采集成本高，布料初始状态与折叠过程难以精确复现，多 episode 间的一致性控制复杂；关节状态、夹爪位置与前置视频需在时间戳上严格同步，视频编码与帧对齐可能引入误差；动作空间标定和机器人本体差异影响策略迁移；任务类别仅含一项，场景与物体多样性有限，可能制约模型泛化至不同布料、环境与折叠目标。

常用场景

经典使用场景

在机器人操作学习与可变形物体操控领域，cloth_folding_grasp_corpus_v2_plus_may_consistent_64作为基于LeRobot构建的视觉-动作序列语料，其经典用途集中于模仿学习与行为克隆。数据集以so_follower机械臂采集251条片段、373940帧、30fps，覆盖单一布料折叠抓取任务；六维关节动作与同步前视视频可支撑视觉运动策略从图像和本体状态预测肩、肘、腕及夹爪指令。研究者据此训练端到端策略，评估抓取、展开、折叠等连续操作中的鲁棒性与一致性，并开展闭环控制与策略泛化实验。

衍生相关工作

围绕该数据集，相关衍生工作主要沿LeRobot生态展开。公开信息未标注专门论文，但其标准化parquet与视频结构便于复现模仿学习、扩散策略、视觉-语言-动作模型微调等机器人学习范式；数据集可视化工具、统一训练接口与策略评测流程亦可在此基础上发展。后续研究可将其作为布料折叠抓取基线和预训练语料，衍生出多任务扩展、跨本体迁移、数据增强与一致性约束方法。此类工作有助于形成可比较、可积累的柔性物体操作研究脉络。

数据集最近研究

最新研究方向

伴随具身智能与机器人基础模型研究的迅速升温，面向可变形物体操作的示范数据正成为视觉—运动策略学习的关键底座。该数据集以LeRobot规范组织251条布折叠抓取演示、逾37万帧30Hz同步视觉与六维关节状态，支撑模仿学习、扩散策略及视觉—语言—动作模型在抓取—折叠长程任务上的验证。近期方向聚焦于跨布料形态泛化、触觉—视觉融合、数据一致性筛选与真实机器人迁移，并呼应开源机器人数据集标准化和LeRobot社区协作热点。其意义在于为可变形物操作基准、策略鲁棒性评估及数据高效学习提供可复现资源，推动家庭服务与柔性制造场景中的自主操作落地。