real_table

该数据集使用LeRobot框架创建，面向机器人学习任务，包含300个episode，共111,007帧数据，涉及2个任务。数据集记录了一个机器人（型号：so_follower）的操控数据，包括动作指令（6维，包含肩部、肘部、腕部、夹爪位置）、机器人状态（同样6维）、以及两个视角的RGB视频图像（侧面视角和腕部视角，分辨率480x640，帧率30fps，AV1编码）。此外还包含时间戳、帧索引、episode索引、任务索引等辅助信息。数据以parquet格式存储，视频以mp4格式存储，训练集包含全部300个episode。该数据集可用于模仿学习、机器人操控策略训练等任务。遵循Apache-2.0许可证。This dataset is created using the LeRobot framework for robot learning tasks. It contains 300 episodes with a total of 111,007 frames, covering 2 tasks. The dataset records manipulation data of a robot (model: so_follower), including 6-dimensional action commands (shoulder, elbow, wrist, gripper position), 6-dimensional robot state, and RGB video images from two perspectives (side view and wrist view, resolution 480x640, frame rate 30fps, AV1 codec). Additionally, it includes auxiliary information such as timestamps, frame indices, episode indices, and task indices. The data is stored in parquet format, videos in mp4 format, and the training set contains all 300 episodes. This dataset can be used for imitation learning, robot manipulation policy training, etc. Licensed under Apache-2.0.

原始信息汇总

数据集概述

属性	内容
数据集名称	real_table
任务类型	机器人技术（robotics）
许可证	Apache-2.0
创建工具	LeRobot
数据格式	Parquet

数据集结构

• 总样本数（episodes）: 300
• 总帧数（frames）: 111,007
• 总任务数（tasks）: 2
• 采样频率（fps）: 30 帧/秒
• 数据文件大小: 约100 MB（Parquet文件）
• 视频文件大小: 约200 MB（MP4文件）
• 机器人类型: so_follower
• 数据划分: 全部300个样本用于训练集（train: 0-300）

特征说明

动作与状态（Action & Observation State）

• 数据类型: float32
• 维度: 6维
• 含义: 包含肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置6个自由度

图像观测（Observation Images）

提供**侧方摄像头（side）和腕部摄像头（wrist）**两个视角：

属性	值
图像分辨率	480×640×3（高×宽×通道）
视频编码	AV1
像素格式	yuv420p
视频帧率	30 fps
是否深度图	否

其他特征

• timestamp: 时间戳（float32）
• frame_index: 帧索引（int64）
• episode_index: 样本索引（int64）
• index: 全局索引（int64）
• task_index: 任务索引（int64）

使用方式

该数据集可通过LeRobot可视化工具进行浏览（可视化地址：https://huggingface.co/spaces/lerobot/visualize_dataset?path=mwhnh10/real_table），适用于机器人操作任务的训练与评估。

搜集汇总

数据集介绍

构建方式

real_table数据集是基于LeRobot框架构建的机器人操作数据集，通过真实桌面场景下的任务演示录制而成。数据采集过程中，使用具备6自由度的机械臂（so_follower）进行操作，同步记录机械臂各关节的位置指令（action）与观测状态（observation.state）。此外，系统配备侧视与腕部两个摄像头，以30帧/秒的速率捕获分辨率为480×640的RGB视频流，并将视频编码为AV1格式以优化存储。所有数据以Parquet格式存储，按每1000帧分块组织，并附有元数据文件（meta/info.json），详细记录了特征结构、任务数量及数据划分。数据集共包含300个演示回合，总计111007帧，涵盖2种不同任务，并已按照9:1的比例划分为训练集（train）与验证集（validation）。

使用方法

使用real_table数据集时，研究者可通过LeRobot库中的数据集加载功能（如`LeRobotDataset`类）直接读取Parquet文件，并利用HuggingFace的空间（Spaces）可视化工具预览视频与状态轨迹。数据按`episode_index`组织，便于进行回合级别的策略训练与评估。推荐的实践流程包括：首先加载训练集与验证集，然后通过`fps`参数重采样以匹配实验所需的控制频率；同时，可结合`observation.images.side`和`observation.images.wrist`进行多视角视觉策略的输入设计，或将`action`用于行为克隆与强化学习的动作监督。此外，数据集的`info.json`中提供了特征字典与划分信息，使用户能够灵活地定制数据预处理管道。该数据集已预配置为LeRobot格式，用户无需额外转换即可直接用于现有机器人学习算法。

背景与挑战

背景概述

real_table数据集由HuggingFace社区成员mwhnh10创建，基于LeRobot框架采集，于近期发布，旨在推动机器人操作领域的模仿学习研究。该数据集聚焦于桌面操作任务，包含300个演示片段、超过11万帧的高频（30Hz）视觉与状态数据，由六自由度机械臂及其夹爪执行两种具体任务。其核心研究问题在于利用多视角视觉（侧视与腕部相机）与关节状态信息，训练机器人通过模仿学习掌握精细操作技能。作为LeRobot生态的一部分，该数据集为机器人学习提供了标准化的数据格式与验证平台，对降低机器人数据采集门槛、促进可复现研究具有积极影响，尤其在基于视觉的操控策略评估中具备参考价值。

当前挑战

该数据集所应对的领域挑战涵盖多个层面：首先，在机器人操控中，从高维视觉输入到精准动作输出的映射极具难度，需要模型具备良好的泛化能力以应对桌面场景的多样性；其次，模仿学习对演示数据的质量与多样性高度敏感，数据采集过程中的噪声、视角限制及任务偏差均可能影响策略的鲁棒性。构建过程中，挑战亦不容小觑：采集系统需同步处理多路相机（30Hz）与机械臂状态记录，确保时间戳一致；数据存储采用高效的AV1视频编码与Parquet格式，需兼顾压缩率与读取速度；此外，300个片段的规模尽管可观，仍面临任务覆盖不充分、动作分布不均等问题，对后续数据扩充与算法调优提出了持续优化的需求。

常用场景

经典使用场景

real_table数据集是机器人操作领域中的一个典型示范性数据集，它基于LeRobot框架采集，记录了机械臂在桌面场景下执行一系列精细操作任务的完整轨迹。该数据集涵盖了两个子任务，包含300个演示片段，总帧数超过11万，集成了高帧率（30fps）的视觉观测（侧视与腕部相机）以及6维关节空间的动作指令。这种多模态数据组合为模仿学习、行为克隆等经典机器人学习范式提供了理想的研究素材，常被用于评估和改进从视觉到动作的端到端映射模型。

解决学术问题

在学术层面，real_table数据集为机器人学习领域中的核心挑战提供了实验基准，解决了数据稀缺和复现困难这两大痛点。通过提供同步的高分辨率图像和精确的关节状态，该数据集让研究者能够深入探讨视觉表征学习、动作序列建模和跨任务泛化等关键问题。它使得在受控条件下对比不同算法的性能成为可能，促进了模仿学习方法的稳健性和可解释性研究，推动了从单任务专用模型向多任务通用策略的演进。

实际应用

实际应用中，real_table数据集所包含的桌面操作技能可直接迁移至工业自动化和服务机器人领域，例如精密装配、物品分拣、料箱抓取等场景。训练于该数据集的策略模型，可以借助域随机化和迁移学习技术，适应不同的机械臂构型和环境光照条件，实现快速部署。这种数据驱动的解决方案降低了传统机器人编程的复杂性，提升了生产线的灵活性和响应速度，也为家庭服务机器人在整理桌面、摆盘等日常任务中的智能行为提供了技术铺垫。

数据集最近研究

最新研究方向

随着具身智能与人形机器人技术的蓬勃发展，基于遥操作示教与模仿学习的策略学习成为当前研究的热点。real_table数据集作为LeRobot生态中以真实桌面操作场景为采集背景的高质量数据资源，其300个演示片段与11万余帧多视角视觉-运动信息，为验证从像素到动作映射的端到端智能控制范式提供了宝贵基石。该数据集前沿研究方向聚焦于利用真实人机交互数据推动操作技能的泛化，例如结合赋予机器人语义理解大模型的闭环控制，以及探索在复杂多步任务中通过少量数据实现高效模仿学习的跨具身迁移能力。其影响在于，它降低了构建可复现机器人学习实验的门槛，促使研究者从仿真环境向真实世界的关键跃迁，并以标准化格式促进了社区共享与迭代，对推动通用机器人操作基础模型的确立具有奠基性意义。