chenglongy/bus_table_01

这是一个机器人领域的数据集，使用LeRobot创建，专门针对双手机器人（nero_dual）设计。数据集包含30个episodes，总计18344帧，以30fps的帧率采集。数据结构包括动作（action）和观察（observation），其中观察分为状态观察（如关节角度和夹爪宽度）和图像观察（包括前视摄像头（分辨率800x1280）、左腕摄像头（分辨率480x640）和右腕摄像头（分辨率480x640）的视频数据）。数据集以parquet和mp4格式存储，总数据大小约为300MB（数据文件100MB，视频文件200MB）。数据集适用于机器人学习和控制任务，并遵循Apache 2.0许可证。--- 许可证: apache-2.0 任务类别: - 机器人学 标签: - LeRobot 配置: - 配置名称: default 数据文件: data/*/*.parquet --- 本数据集基于LeRobot框架构建，项目仓库地址为https://github.com/huggingface/lerobot。 可通过以下链接可视化本数据集：https://huggingface.co/spaces/lerobot/visualize_dataset?path=chenglongy/bus_table_01，配套有适配亮色与暗色主题的可视化徽章。 ## 数据集描述 - **主页：** [需补充更多信息] - **论文：** [需补充更多信息] - **许可证：** apache-2.0 ## 数据集结构 文件`meta/info.json`包含如下配置信息： json { "代码库版本": "v3.0", "帧率": 30, "特征": { "动作": { "数据类型": "float32", "维度名称": [ "right_nero_joint_1", "right_nero_joint_2", "right_nero_joint_3", "right_nero_joint_4", "right_nero_joint_5", "right_nero_joint_6", "right_nero_joint_7", "left_nero_joint_1", "left_nero_joint_2", "left_nero_joint_3", "left_nero_joint_4", "left_nero_joint_5", "left_nero_joint_6", "left_nero_joint_7", "right_gripper_width", "left_gripper_width" ], "形状": [ 16 ] }, "观测.状态": { "数据类型": "float32", "维度名称": [ "right_nero_joint_1", "right_nero_joint_2", "right_nero_joint_3", "right_nero_joint_4", "right_nero_joint_5", "right_nero_joint_6", "right_nero_joint_7", "left_nero_joint_1", "left_nero_joint_2", "left_nero_joint_3", "left_nero_joint_4", "left_nero_joint_5", "left_nero_joint_6", "left_nero_joint_7", "right_gripper_width", "left_gripper_width" ], "形状": [ 16 ] }, "观测.图像.前视摄像头": { "数据类型": "video", "形状": [ 800, 1280, 3 ], "维度名称": [ "高度", "宽度", "通道数" ], "详细信息": { "视频.高度": 800, "视频.宽度": 1280, "视频.编码格式": "av1", "视频.像素格式": "yuv420p", "视频.非深度图": false, "视频.帧率": 30, "视频.通道数": 3, "含音频": false, "视频.GOP大小": 2, "视频.CRF值": 30, "视频.预设档位": 12, "视频.快速解码": 0, "视频.解码后端": "pyav", "视频.额外选项": {} } }, "观测.图像.左手腕摄像头": { "数据类型": "video", "形状": [ 480, 640, 3 ], "维度名称": [ "高度", "宽度", "通道数" ], "详细信息": { "视频.高度": 480, "视频.宽度": 640, "视频.编码格式": "av1", "视频.像素格式": "yuv420p", "视频.非深度图": false, "视频.帧率": 30, "视频.通道数": 3, "含音频": false, "视频.GOP大小": 2, "视频.CRF值": 30, "视频.预设档位": 12, "视频.快速解码": 0, "视频.解码后端": "pyav", "视频.额外选项": {} } }, "观测.图像.右手腕摄像头": { "数据类型": "video", "形状": [ 480, 640, 3 ], "维度名称": [ "高度", "宽度", "通道数" ], "详细信息": { "视频.高度": 480, "视频.宽度": 640, "视频.编码格式": "av1", "视频.像素格式": "yuv420p", "视频.非深度图": false, "视频.帧率": 30, "视频.通道数": 3, "含音频": false, "视频.GOP大小": 2, "视频.CRF值": 30, "视频.预设档位": 12, "视频.快速解码": 0, "视频.解码后端": "pyav", "视频.额外选项": {} } }, "时间戳": { "数据类型": "float32", "形状": [ 1 ], "维度名称": null }, "帧索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null }, "回合索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null }, "全局索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null }, "任务索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null } }, "总回合数": 30, "总帧数": 18344, "总任务数": 1, "分块大小": 1000, "数据文件总大小（MB）": 100, "视频文件总大小（MB）": 200, "数据文件路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频文件路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "机器人类型": "nero_dual", "数据集划分": { "训练集": "0:30" } } ## 引用 **BibTeX格式：** bibtex [需补充更多信息]

搜集汇总

数据集介绍

构建方式

本数据集基于LeRobot框架构建，专注于机器人操作任务的记录与回放。通过双机械臂系统（nero_dual）在固定场景中采集数据，包含30个完整操作回合，总帧数达18344帧。数据以Parquet格式存储结构化信息，视频流则采用AV1编码压缩，有效平衡了存储效率与视觉质量。每个数据样本同步记录了16维动作指令、16维关节状态观测、三路视觉输入（前置摄像头及左右腕部摄像头）以及时间戳、帧索引等元信息。

特点

该数据集的核心特点在于多模态同步感知与精细化的控制表征。动作空间与状态空间均覆盖双臂共14个关节角度及2个夹爪宽度，维度完全对齐，便于模仿学习中的直接映射。视觉输入包含1280×800分辨率的前置视角与640×480的腕部近距视角，以30fps帧率捕捉操作细节。此外，数据集通过统一的episode_index和frame_index维持时间连续性，为端到端的机器人技能学习提供了结构完整、时序规整的训练样本。

使用方法

数据集采用LeRobot标准接口进行加载，用户可通过指定数据集路径直接读取Parquet文件中的结构化数据与对应视频片段。训练/测试划分预设为0:30全量训练模式，适用于行为克隆等监督学习方法。典型使用流程包括：利用observation.state和observation.images作为模型输入，action作为预测目标，构建从视觉-状态联合表征到关节级动作的策略网络。数据集支持通过HuggingFace可视化工具预览交互，亦可结合LeRobot提供的dataloader进行批量化训练迭代。

背景与挑战

背景概述

在机器人学习领域，模仿学习与示教学习的发展对高质量、多模态数据集的依赖日益加深，以期实现复杂操作技能的泛化迁移。bus_table_01数据集正是在此背景下诞生的，由研究者在LeRobot框架下构建，旨在为双臂机器人精细化桌面操作任务提供标准化训练资源。该数据集以30帧每秒的采样率记录了机器人30个完整子任务的18344帧时序数据，包含来自前置双目、左右腕部摄像头的多视角视觉信息，以及双机械臂16维关节角度与夹爪宽度等状态-动作序列。所有数据遵循Apache-2.0开源许可发布，通过统一的Parquet与视频格式存储，有效支持了模仿学习、行为克隆及策略优化等研究方向的基准测试与模型开发，在推动机器人从静态规划向动态感知-决策闭环演进中展现出重要参考价值。

当前挑战

该数据集所解决的领域核心挑战在于双臂机器人在非结构化桌面环境中执行精细操作时面临的多模态感知融合与实时控制难题。机器人需同步处理来自多个视角的高分辨率视觉流与多达16个自由度的高维运动数据，并在毫秒级响应时间内生成协调一致的动作指令，这对模型对时序依赖关系的捕捉能力及对噪声鲁棒性提出了严苛要求。在数据构建层面，挑战集中于如何确保30个演示过程中任务语义的一致性、如何通过硬件同步机制消除多传感器间的时序偏移、以及如何在有限样本量（18344帧，约10分钟有效时长）条件下充分覆盖操作空间的变异性，避免策略过拟合于特定初始化位姿与光照条件。

常用场景

经典使用场景

在机器人学习与具身智能领域，bus_table_01数据集为训练双机械臂协同操作策略提供了宝贵的示例。该数据集通过LeRobot框架采集，包含30个完整操作片段，记录了Nero双臂机器人执行桌面任务的精细运动轨迹。其数据模态涵盖多视角视觉观测（前方、左腕、右腕摄像头）与16维关节状态信息，研究者可借助此数据构建从视觉输入到复杂动作序列的端到端映射模型，例如行为克隆或强化学习方法。经典使用方式是以监督学习形式，将观测状态与真实动作对齐，训练机器人模仿人类演示的抓取与放置技巧。

实际应用

实际应用中，该数据集直接服务于工业与服务场景中双臂机器人的灵巧操作需求。例如，在精密装配线上，机器人可学习如何协同控制左右机械臂完成零件抓取与对接；在家庭服务领域，则可复现擦拭桌面、物品分类等日常活动。由于数据包含右腕与左腕的独立视角影像，尤其利于开发基于视觉反馈的闭环控制算法。借助该数据集训练的模型，能够根据实时视觉输入调整关节角度与夹爪开合度，为无人仓储、医疗辅助乃至太空作业等对安全性与适应度要求严苛的领域提供可部署的解决方案。

衍生相关工作

基于bus_table_01数据集，一系列衍生工作正在推动机器人学习范式的革新。一方面，研究者利用此数据验证了扩散策略（Diffusion Policy）在双臂场景下的有效性，通过逆向噪声过程生成平滑动作序列，显著提升了策略的鲁棒性。另一方面，该数据集被纳入LeRobot框架的标准评估套件，成为对比隐空间模型与决策Transformer等架构的基线资源。此外，多任务学习领域借鉴其多视角观测结构，开发了跨场景的视觉表征对齐方法，使得在单一桌面上习得的技能可迁移至不同材质与布局的操作环境，拓展了模仿学习在物理世界中的应用边界。