jedai2003/record-pickup_bottle

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "so100_follower", "total_episodes": 50, "total_frames": 19526, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 500, "fps": 30, "splits": { "train": "0:50" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.state": { "dtype": "float32", "names": [ "shoulder_pan.pos", "shoulder_lift.pos", "elbow_flex.pos", "wrist_flex.pos", "wrist_roll.pos", "gripper.pos" ], "shape": [ 6 ] }, "observation.images.front": { "dtype": "video", "shape": [ 480, 640, 3 ], "names": [ "height", "width", "channels" ], "info": { "video.height": 480, "video.width": 640, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 30, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset was created using LeRobot and is primarily used in the field of robotics. The dataset contains 50 episodes, 19526 frames, and 1 task, with data files sized at 100MB and video files at 500MB, running at 30fps. The dataset structure includes multiple features such as actions, observation states, and front images. Both actions and observation states contain 6 joint position information (shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos). The front images have a resolution of 480x640, 3 channels, with video encoding in av1 and a frame rate of 30fps. Additionally, the dataset includes timestamps, frame indices, episode indices, indices, and task indices.

搜集汇总

数据集介绍

构建方式

record-pickup_bottle数据集是基于LeRobot框架构建的机器人操作数据集，专为模仿学习与机器人技能获取任务而设计。该数据集通过远程操作方式，利用so100_follower型机器人执行“拾取瓶子”单一任务，共采集了50个演示回合，合计19526帧数据，采样频率为30帧每秒。数据存储采用分块Parquet格式，每块包含最多1000帧，并辅以分辨率为640×480的AV1编码视频记录。数据集结构清晰，每帧均包含6维关节动作指令、6维关节状态观测、前端摄像头图像、时间戳及帧与回合索引等字段，所有训练数据未划分验证集，完整用于模型训练。

使用方法

用户可通过LeRobot库便捷加载与使用该数据集。典型流程为：首先安装LeRobot，随后使用其数据加载模块读取Parquet文件与对应视频，将观测、动作、状态等字段解析为张量格式，供神经网络模型训练。数据集默认将全部50个回合用于训练，可直接用于行为克隆、隐式策略或扩散策略等模仿学习算法的训练与评估。用户也可根据自身需求自定义数据预处理流程，例如对状态与动作进行归一化、对图像进行裁剪或增强，或调整帧采样率以适配不同模型架构。数据集采用Apache 2.0许可证，允许自由使用与修改。

背景与挑战

背景概述

Record-pickup_bottle数据集由Hugging Face的LeRobot团队构建，旨在为机器人操作任务提供标准化的演示数据，专注于‘拾取瓶子’这一精细动作。该数据集于近期发布，采用Apache-2.0开源协议，收录了50个演示片段，总帧数达19526帧，由SO100跟随机器人（SO100 follower）在真实场景中采集而成。其核心研究问题在于通过模仿学习推动机器人灵巧操作能力的提升，尤其在工业分拣、家庭服务等场景中具有重要应用价值。数据集的发布为机器人学习领域提供了高保真、可控的基准，有助于推动从感知到动作映射的端到端模型发展。

当前挑战

该数据集面临的挑战集中体现于两个层面。在领域问题上，机器人精细操作如‘拾取瓶子’需处理复杂的力控、物体姿态变化及视觉反馈延迟，而数据样本仅涵盖单一任务和50个片段，泛化能力受限，难以应对多变环境与不同瓶体形状。在构建过程中，数据采集依赖人工遥控演示，耗时长且一致性难保，视频与动作数据的同步性易受硬件噪声影响。此外，现有数据以640×480分辨率和30fps帧率录制，在复杂光照或遮挡条件下，视觉信息的鲁棒性有待提升，且仅包含正面单视角观测，缺乏多模态融合，限制了策略学习对环境的全面理解。

常用场景

经典使用场景

在机器人操作研究领域，record-pickup_bottle数据集的核心价值在于其为基于视觉的机械臂抓取任务提供了标准化的训练与评估基准。该数据集通过SO-100型机械臂，在真实场景中采集了50个完整抓取瓶子的演示轨迹，包含超过19,000帧的高清视觉图像与六维关节状态信息。研究者可借助此数据集，开展模仿学习算法的训练与验证，特别是利用LeRobot框架进行行为克隆或隐式策略建模。数据集内置的观察-行动配对结构，使得从人类示范中提取空间操作规律成为可能，为发展泛化能力更强的机器人抓取技能奠定了数据基础。

解决学术问题

该数据集的构建旨在破解机器人操作学习中长期存在的‘数据稀缺困境’，尤其针对精细抓取这一经典难题。在学术层面，它系统性地解决了两个核心问题：其一，提供了包含关节空间与视觉观测的高保真同步记录，使得研究人员能够从人类示范中分离出运动规划与视觉伺服策略的耦合关系；其二，通过标准化数据格式与训练/测试分割，为不同算法的复现与横向比较创造了客观条件。这一贡献显著推动了任务导向操作学习的发展，成为验证策略泛化能力的重要标尺，其意义在于将机器人学习从理论推演转向了数据驱动的实证研究范式。

实际应用

在实际部署中，该数据集驱动的学习框架被广泛应用于工业分拣与家庭服务场景。经过模仿学习训练的SO-100机械臂，能够在非结构化环境中自主完成瓶装物品的识别、抓取与转运操作，这对于自动化仓储的拣货环节具有直接价值。此外，由于数据集涵盖了关节角度、角速度等力学约束因素，由此衍生出的控制策略可无缝迁移至实验室台面操作或生活辅助机器人系统，例如帮助行动不便者拾取日常用品。该数据集所代表的‘少样本示范-快速部署’路径，正逐步成为降低机器人应用门槛的关键技术方案。

数据集最近研究

最新研究方向

近年来，机器人操作技能的学习与泛化成为具身智能领域的核心议题，而精细化的数据采集与标准化数据集构建则是推动这一进程的关键基石。在此背景下，record-pickup_bottle数据集应运而生，它聚焦于机器人抓取瓶体的典型操作任务，通过LeRobot框架采集了50个演示回合、共计近两万帧的高频动作与视觉数据。该数据集采用了so100_follower机械臂，记录了六自由度关节状态、夹爪动作以及640×480像素的前视视频流，为模仿学习与行为克隆提供了丰富的训练素材。当前的研究前沿正沿着少样本泛化与跨任务迁移的方向纵深推进，研究者利用此类数据集探索如何从有限的人类演示中提炼出鲁棒的策略表征，并借助大规模预训练模型实现对新物体、新场景的零样本适应。record-pickup_bottle所代表的标准化、高保真数据集，不仅加速了机器人学习从实验室模拟向真实世界的跨越，更呼应了具身智能领域中‘数据驱动策略’这一热点趋势，为构建通用操作技能库奠定了坚实基础。