RobotSo101/prueba_1

该数据集由LeRobot创建，用于机器人学研究和应用。它包含20个episodes，总计6743个frames，数据以parquet和mp4视频文件格式存储。数据集提供了机器人动作和观测数据，其中动作和状态均为9维向量，包括机械臂关节位置（如肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）以及速度分量（x.vel、y.vel、theta.vel）。观测数据包括两个摄像头的视频流：前视摄像头和腕部摄像头，分辨率均为480x640，帧率为15fps，视频编码为av1，像素格式为yuv420p，非深度图。元数据还包括时间戳、帧索引、episode索引、任务索引等信息。机器人类型为lekiwi_client，数据集总大小约为300MB（数据文件100MB，视频文件200MB），并分为训练集（包含所有20个episodes）。

This dataset was created using LeRobot for robotics research and applications. It consists of 20 episodes with a total of 6743 frames, stored in parquet and mp4 video file formats. The dataset provides robot action and observation data, where both actions and states are 9-dimensional vectors, including robotic arm joint positions (e.g., arm_shoulder_pan.pos, arm_shoulder_lift.pos, arm_elbow_flex.pos, arm_wrist_flex.pos, arm_wrist_roll.pos, arm_gripper.pos) and velocity components (x.vel, y.vel, theta.vel). Observations include video streams from two cameras: a front camera and a wrist camera, both with a resolution of 480x640, a frame rate of 15fps, video codec av1, pixel format yuv420p, and are not depth maps. Metadata also includes timestamps, frame indices, episode indices, task indices, etc. The robot type is lekiwi_client, the total dataset size is approximately 300MB (100MB for data files and 200MB for video files), and it is split into a training set (covering all 20 episodes).

搜集汇总

数据集介绍

构建方式

在机器人学习领域，数据集的构建是推动具身智能研究发展的基石。prueba_1 数据集依托 LeRobot 框架精心打造，专为机器人模仿学习和策略训练而设计。该数据集通过真实机器人平台进行数据采集，共计包含 20 个完整演示片段（episodes），总计 6743 帧时序数据。每个片段同步记录了高频率（15 FPS）的多模态信息，包括 9 维关节角度与速度联合动作指令（action）、对应维度的本体感知状态（observation.state），以及从前置摄像头与腕部摄像头捕获的双路 RGB 视频流（分辨率 480×640）。数据以 Parquet 格式存储结构化数值，视频则采用 AV1 编码压缩为 MP4 文件，整体数据与视频规模分别约 100 MB 与 200 MB。数据集采用分块（chunk）机制存储，并依据 meta/info.json 中的元信息进行完整索引管理，确保了大规模数据读取的高效性与扩展性。

使用方法

使用该数据集需依托 LeRobot 库进行高效加载与预处理。用户可将数据集直接集成至 LeRobot 的数据管线中：首先通过 `lerobot_dataset` 加载器指定仓库路径，即可自动解析 meta/info.json 中定义的 `action`、`observation.state` 和 `observation.images` 等特征，并返回可迭代的 `EpisodeData` 对象。训练时，每一帧以字典形式封装，支持通过帧索引或片段索引随机访问。推荐将数据集划分为固定长度的子序列，用于训练基于 Transformer 或 LSTM 的短期记忆策略模型。对于视觉-运动策略，可对 480×640 的 RGB 图像进行中心裁剪或缩放至统一尺寸（如 224×224），并与关节状态向量拼接后输入网络。此外，数据集支持通过 LeRobot 提供的可视化工具直接预览视频与动作轨迹，辅助数据质量筛查与参数调优。

背景与挑战

背景概述

该数据集名为prueba_1，由LeRobot框架（源自Hugging Face社区）于近期创建，核心研究机构为Hugging Face及其面向机器人学习的研究团队。该数据集聚焦于机器人操控任务，旨在为基于视觉与状态信息的机器人行为学习提供标准化训练资源。其核心研究问题在于如何利用多模态数据——包括关节角度、末端执行器位姿、移动基座速度以及双视角视觉影像——来训练机器人执行精细操作。尽管该数据集规模有限（包含20个片段、6743帧），但因其遵循LeRobot统一规范，能够与同生态下的机器人数据集无缝整合，对推动开源机器人学习基准的建立具有示范意义。

当前挑战

该数据集所解决的领域挑战在于：机器人行为学习长期受限于数据格式异构性强、采集成本高昂的困境，缺乏像计算机视觉中ImageNet那样的标准化数据集。构建过程中面临的挑战包括：1）多模态数据对齐问题，需将9维动作指令与9维状态观测在时间戳上精确同步，且保证15FPS的视觉输入与运动控制频率匹配；2）物理平台差异，数据集基于lekiwi_client机器人平台，其运动学特征与控制接口的独特性会影响迁移至其他机器人时的泛化能力；3）数据规模瓶颈，仅20个片段与单任务的设计难以覆盖复杂操作空间的多样性，易导致模型过拟合；4）视频编码与存储效率的权衡，采用AV1编码虽压缩了200MB视觉数据，但解码实时性成为在线学习的潜在瓶颈。

常用场景

经典使用场景

在机器人学领域中，该数据集为模仿学习与行为克隆研究提供了宝贵的多模态数据基础。其结构包含了机械臂各关节的位置指令（如肩关节、肘关节、腕关节及夹爪）以及移动底盘的速度量，同时配以高分辨率的前置与腕部摄像头视频流。研究者可借助这些对齐的视觉与运动数据，训练模型从人类示教中学习复杂的操作技能，例如抓取、装配或移动操控，从而在仿真或实体机器人上复现精细的动作序列。

解决学术问题

该数据集有效解决了机器人技能获取中数据维度高、时序关联强且依赖昂贵人工编程的难题。通过提供包含20个示教片段、超过6700帧的密集轨迹记录，它使学者能够探索从视觉输入到连续动作空间的端到端映射关系。这推动了迁移学习与领域随机化方法的发展，助力机器人对未见过场景的泛化能力提升，并显著降低了实验室环境下复现前沿算法的门槛，为可泛化操作策略的理论突破奠定了实验基石。

实际应用

实际部署中，该数据集可服务于工业柔性生产与家庭服务两类典型场景。在精密装配任务里，前置摄像头捕捉工件方位，关节数据引导机械臂完成高精度插件或螺丝拧紧操作；而在室内移动机器人平台上，腕部近景视觉与底盘的线速度、角速度样本协同作用，促使模型掌握桌椅绕行、门把手抓取等动态避障行为。此外，数据集的Apache-2.0许可降低了企业定制化微调的成本，加速了原型验证流程。

数据集最近研究

最新研究方向

在机器人学习领域，该数据集通过LeRobot框架采集自Lekiwi机械臂，以15帧/秒的频率记录9维动作与状态数据，并融合前、腕部双视角高清视频。其前沿研究聚焦于利用精细的动作-视觉对齐特性，推动模仿学习与多模态机器人操控模型的训练，特别是在复杂环境下的精准抓取与动态适应任务中。该数据集以Apache-2.0许可证开放，结合LeRobot生态的可视化与标准化处理，为降低机器人数据采集门槛、促进具身智能从仿真到真实场景的泛化提供了关键基础资源。