mim-syn-tra-gen/cs-tablecloth

该数据集是使用LeRobot创建的机器人学数据集，专注于机器人操作任务。数据集包含131个episodes，总计239219帧，数据文件大小为100MB，视频文件大小为200MB，帧率为50fps。数据集结构丰富，包括观测数据（如UR机器人的TCP位姿、工具状态、力/力矩数据，以及来自侧视、左腕和右腕摄像头的视频图像）和动作数据（UR机器人的命令）。所有数据均以Apache 2.0许可证发布，适用于机器人学习和控制研究。This dataset is a robotics dataset created using LeRobot, focusing on robot manipulation tasks. It contains 131 episodes with a total of 239,219 frames, a data file size of 100MB, a video file size of 200MB, and a frame rate of 50fps. The dataset structure is comprehensive, including observations (such as UR robot TCP pose, tool state, force/torque data, and video images from side, left wrist, and right wrist cameras) and actions (commands for UR robots). All data is released under the Apache 2.0 license, suitable for robotics learning and control research.

搜集汇总

数据集介绍

构建方式

cs-tablecloth数据集源自机器人操作领域，旨在为机械臂执行桌面布料铺设等精细任务提供训练数据。该数据集依托LeRobot框架构建，通过远程操控技术采集人类演示数据。数据采集过程中，操作员利用iLeader主手控制端引导UR10e机械臂完成桌布铺放动作，同步记录机械臂的六维TCP位姿、工具状态、六维力/力矩信息，以及主手端的TCP位姿、按钮状态与工具值等观测信息。同时，三个摄像头（侧方、左腕、右腕）以50帧/秒的速率捕捉视觉图像，构成了包含状态、动作、视觉及时间戳的多模态数据流。最终整理的131个演示片段共包含239,219帧，数据集按1000帧分块以Parquet格式存储，视频流则采用AV1编码压缩为MP4文件，确保数据加载与后续训练的高效性。

特点

该数据集的核心特点在于其丰富且多源的观测空间与明确的动作指令设计。观测信息融合了机械臂本体感知（TCP位姿、力/力矩）、主手控制端状态（位姿、按钮、工具值）以及三视角视觉图像（侧方、左腕、右腕），为模仿学习提供了综合的环境表征。动作空间直接对应UR10e机械臂的七维控制命令（六维位姿加工具值），并辅以精细的时间戳与源传感器时间对齐元数据。数据集聚焦单一任务——桌面布料铺设，在131个演示片段中展现了相同任务下的多样化操作轨迹，有助于训练模型适应任务内的变体。此外，数据以50Hz高频采样，保证了时序动作的连续性，为策略学习提供了细粒度的决策依据。

使用方法

在使用cs-tablecloth数据集时，推荐通过LeRobot库进行加载与预处理。用户可通过HuggingFace Datasets库指定数据集标识符'robotgeneralist/cs-tablecloth'，调用相应数据加载函数实现高效的数据流式读取。数据集已预设训练切分（0至130号片段），无需自行划分。加载后，用户可访问'observation'字段下的图像（键为'images.side'、'images.wrist_left'、'images.wrist_right'）及状态数值，以及'action'字段下的控制指令。典型应用场景包括使用模仿学习算法（如行为克隆或扩散策略）训练机器人策略，其中图像可作为策略网络的输入，状态信息用于条件化建模，动作则作为预测目标。此外，数据集内置的视频可视化工具（通过HuggingFace Spaces）允许直观预览演示过程，辅助数据探索与模型评估。

背景与挑战

背景概述

cs-tablecloth数据集诞生于机器人操作领域对精细操作能力日益增长的需求背景下，由相关研究团队利用LeRobot框架构建，旨在为机器人学习桌布铺设这一复杂操作任务提供标准化数据支撑。该数据集包含131个完整演示片段，总计约24万帧的高频（50 fps）观测数据，涵盖了6自由度TCP位姿、力传感器读数及多视角视觉输入（侧方与双腕部摄像头），并记录了从引导侧到执行侧的全状态-动作映射。作为少数专注于非刚性物体操作的开源资源，cs-tablecloth弥补了现有数据集在柔性材料处理、精准位姿调控与力位融合控制等方向上的空白，为机器人技能学习的泛化与迁移研究奠定了关键性基础。

当前挑战

当前cs-tablecloth数据集面临的核心挑战包括：领域层面，桌布作为典型的非刚性物体，其状态空间高度依赖材料形变、褶皱分布与抓取点动态变化，使得基于固定状态表示的模仿学习策略难以泛化至新场景；操作过程中力-位混合控制的耦合效应、视觉遮挡与光照变化进一步加剧了策略的鲁棒性需求。构建层面，高精度遥操作采集系统对硬件同步性要求严苛，多模态数据（图像、力矩、位姿）在50Hz采样率下的时序对齐与缺失补偿成为技术难点；此外，单任务（仅桌布铺设）的标注规模限制了模型在类似家务操作上的迁移潜力，而公开基线方法的缺失亦阻碍了该数据集作为基准平台的广泛应用。

常用场景

经典使用场景

在机器人操作与模仿学习领域，cs-tablecloth数据集为研究基于视觉的桌面布料整理任务提供了标准化的训练与评估基准。该数据集包含131个演示片段，共计约24万帧高频率（50 FPS）的机器人操作数据，涵盖来自三视角（侧方及左右腕部）的视觉观测序列，以及末端执行器位姿、力/力矩传感和关节指令等多模态信息。研究者可借此训练策略网络以完成从感知到动作的端到端映射，尤其适用于学习复杂的柔性物体操控策略。

实际应用

在实际产业环境中，该数据集支撑的服务机器人自主铺展、折叠与铺盖桌布等应用具有显著商业价值。酒店、餐饮及家政服务场景中，机器人需在非结构化环境下完成柔性织物的平整与定位操作。借助cs-tablecloth训练的模型，可部署于配备力控腕部与多目视觉的协作机器人系统，实现从抓取、展开到抚平动作的自动化流水线，有效降低人工重复劳动强度并提升服务效率。

衍生相关工作

基于该数据集，衍生出众多面向柔性物体操控的经典研究工作。例如，研究者将其与扩散策略（Diffusion Policy）结合，验证了在布料整理任务中生成平滑动作序列的有效性；另有一些工作引入动作分块（Action Chunking）与隐式规划（Implicit Planning）方法，提升了长时序任务的泛化能力。此外，该数据集还催生了跨具身形态的迁移学习研究，通过对比真实与仿真环境中的演示数据，推动了仿真到现实（Sim-to-Real）技术路径的完善。