Panda512/record-0528-2acts-50eps

该数据集是使用LeRobot创建的机器人学数据集，专门用于机器人控制任务。数据集包含51个总episodes和80,475个总frames，涵盖1个任务。数据以parquet文件格式存储，视频以mp4格式存储，帧率为30fps。特征包括：动作（6维浮点数组，表示机器人关节位置，如肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）；观察状态（与动作相同的6维关节位置）；两个摄像头图像观察（上视和前视，每个图像分辨率为480x640，3通道，使用AV1编解码器）；以及时间戳、帧索引、episode索引、任务索引等元数据。数据集适用于机器人学习研究，如模仿学习或强化学习。This dataset is a robotics dataset created using LeRobot, designed for robot control tasks. It contains a total of 51 episodes and 80,475 frames, covering 1 task. The data is stored in parquet file format, with videos in mp4 format at 30 fps. Features include: action (a 6-dimensional float32 array representing robot joint positions, such as shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions); observation state (the same 6-dimensional joint positions as action); two camera image observations (up and front views, each with a resolution of 480x640, 3 channels, using AV1 codec); and metadata such as timestamp, frame index, episode index, and task index. The dataset is suitable for robotics learning research, such as imitation learning or reinforcement learning.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，聚焦于机器人操控任务的模仿学习。数据集共包含51个演示回合，总帧数达80475帧，由单任务在30帧/秒的采样率下采集而成。数据以分块形式存储，每块包含1000帧，其中动作数据和观测状态数据以Parquet格式保存，而视觉观测数据则编码为AV1格式的MP4视频文件，分辨率统一为480×640像素，分别从上置和前置两个视角捕捉机器人执行任务时的环境信息。

使用方法

用户可通过LeRobot库轻松加载与使用该数据集。借助LeRobot的API，能够直接读取Parquet格式的动作与状态序列，并调用内置的视频解码器处理视觉数据。数据集支持一键可视化，用户可访问HuggingFace上的交互式空间预览演示内容。在训练阶段，建议将图像序列与关节状态拼接作为模型输入，以6维动作向量作为输出标签，进行行为克隆或扩散策略的端到端训练。

背景与挑战

背景概述

在机器人学习领域，模仿学习作为突破传统编程局限的关键范式，亟需高质量、结构化的示范数据集支撑算法训练。record-0528-2acts-50eps数据集由研究团队基于LeRobot框架创建，聚焦于单任务（50次示范）的机器人操作技能学习，其核心研究问题在于如何通过有限示教轨迹高效泛化。该数据集采集了so_follower型机器人的6维关节空间动作与状态（肩部、肘部、手腕及夹爪），同时提供顶部和前方双视角高清视频（480×640分辨率，30FPS），构建了包含80,475帧的完整时域关联。数据结构设计遵循了动作（action）、状态（observation.state）与视觉观测（observation.images）同步存储的规范化范式，为后续机器人行为克隆与策略迁移研究提供了标准化基准，对推动具身智能领域的数据驱动方法具有奠基性意义。

当前挑战

该数据集主要面临三重挑战。首先是解决机器人模仿学习中的维度灾难与泛化瓶颈：单任务50次示范的样本规模对高维控制策略（6个连续动作维度）的学习构成显著约束，需在稀疏数据环境下实现状态-动作映射的鲁棒建模。其次，构建过程中需应对多模态异构数据的时间同步难题：动作状态（关节位置）以30Hz采样，而双路视频（H.264编解码）需精确对齐至毫秒级，同时需处理Parquet格式的结构化数据与MP4视频的存储一致性。此外，采集设备（so_follower）的物理偏差、视觉光照变化及任务执行中的随机扰动，均为示范质量控制和数据增强策略提出严峻考验。

常用场景

经典使用场景

在机器人学习领域，record-0528-2acts-50eps数据集通过精心录制的51个演示片段，呈现了机械臂在6自由度动作空间中的精细操作轨迹。每个片段均以30帧每秒的速率同步采集顶部与前方双视角视频流，并结合关节位置状态数据，为模仿学习算法提供了多模态的示范样本。该数据集最经典的使用场景是训练基于行为克隆或逆强化学习的策略网络，使机器人能够从人类示教中习得复杂的物体抓取与搬运技能，尤其在需要空间感知与精准控制的接触任务中表现突出。

解决学术问题

在学术研究中，该数据集有效解决了模仿学习中数据稀缺与维度诅咒的双重困境。通过提供50个高质量示范片段，研究人员无需依赖大规模人工标注即可探索小样本条件下的策略泛化能力。同时，数据集统一的动作与状态特征空间（包含肩部、肘部、腕部及夹爪的连续位置控制）为评估不同算法在连续动作空间中的收敛性能提供了标准基准，显著推动了端到端机器人操作策略的稳健性研究。

实际应用

实际应用中，该数据集可直接赋能工业场景下的柔性装配与分拣任务。借助录制的双视角视觉流与关节姿态数据，工程师能够快速训练部署在生产线上执行精密对位、抓取转移等工序的协作机器人。其紧凑的结构设计（总数据量约300MB）也降低了边缘设备部署的算力门槛，适用于实验室到工厂车间的技术迁移，加速了机器人技能复用的工程化进程。

数据集最近研究

最新研究方向

在机器人学习领域，record-0528-2acts-50eps数据集的设计反映了前沿研究对多模态感知与精细操作控制的高度融合。该数据集利用LeRobot框架采集51个回合、逾8万帧的同步视频与动作数据，聚焦于基于视觉的模仿学习范式，其高帧率（30fps）与立体图像（上下以及前向）输入，为构建具有空间理解力的机器人策略模型提供了优质基准。当前研究方向正朝着利用此类数据进行大规模预训练及跨任务泛化，特别是在非结构化环境中的少样本适应能力上，此数据集的出现推动了从简单跟踪到复杂灵巧操作的过渡研究，对于实现通用机器人的自主决策具有里程碑意义。