rricc22/eval_play_cardV3_trimmed_50k_V1

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=rricc22/eval_play_cardV3_trimmed_50k_V1">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 5,
"total_frames": 4283,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:5"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.wrist": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.overhead": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作任务的数据采集领域，eval_play_cardV3_trimmed_50k_V1数据集依托LeRobot平台构建，其数据来源于真实机器人执行任务的过程。该数据集通过记录机器人关节位置、视觉观测及时间序列信息，以结构化方式组织成多个数据块，每个数据块包含特定数量的帧，并以Parquet格式存储，确保了数据的高效存取与处理。构建过程中，机器人执行单一任务，生成多个连续片段，每段均包含动作指令、状态观测及多视角视频流，从而形成了一套完整且时序连贯的机器人交互记录。

特点

该数据集在机器人学习领域展现出显著的多模态特性，不仅整合了六维关节位置的动作向量与状态观测，还同步收录了来自腕部与顶部摄像头的双视角RGB视频流，帧率稳定在30fps，分辨率达480x640。数据以分块形式组织，总帧数超过四千，涵盖了机器人执行任务的完整轨迹，同时提供了精确的时间戳与索引信息，便于进行时序分析与模型训练。其结构设计兼顾了数据的丰富性与访问效率，为机器人策略学习与视觉感知研究提供了高质量的实验基础。

使用方法

研究人员可利用该数据集进行机器人模仿学习、强化学习或视觉运动控制等任务的模型训练与评估。通过加载Parquet格式的数据文件，用户可以访问每一帧的动作、状态及对应的双视角图像序列，结合时间戳与索引信息重构任务执行过程。数据集支持按片段或帧级进行采样，便于设计不同的训练策略，同时其多模态特性允许联合建模动作与视觉信息，为开发端到端的机器人控制算法提供了便利。此外，数据集已集成可视化工具，用户可直观浏览数据内容，加速实验设计与分析流程。

背景与挑战

背景概述

在机器人学习领域，高质量的行为数据是推动模仿学习与强化学习算法发展的基石。eval_play_cardV3_trimmed_50k_V1数据集由LeRobot项目团队构建，依托开源机器人平台，专注于解决机器人操作任务中的技能泛化与评估问题。该数据集通过记录机械臂在特定任务中的关节状态、视觉观察及动作序列，旨在为机器人策略学习提供多模态、时序对齐的示范数据。其核心研究问题在于如何从有限的真实世界交互中提取可迁移的操控知识，以促进机器人在非结构化环境中的自主适应能力，对机器人学习社区的算法验证与基准测试具有重要价值。

当前挑战

该数据集致力于应对机器人操作任务中技能学习与泛化的核心挑战，即如何从高维视觉与状态观测中学习鲁棒且精确的控制策略，并适应动态环境变化。在构建过程中，面临多重技术难题：多传感器数据的精确同步与对齐需要精密的时间戳管理，以确保状态、动作与视觉帧的一致性；大规模视频数据的压缩与存储需平衡质量与效率，采用AV1编解码以优化资源使用；此外，真实机器人采集过程中的硬件噪声、动作执行误差以及任务场景的有限多样性，均对数据的洁净度与代表性构成挑战，要求细致的采集协议与后处理流程。

常用场景

经典使用场景

在机器人学习领域，eval_play_cardV3_trimmed_50k_V1数据集为模仿学习与强化学习算法的训练与评估提供了关键支持。该数据集通过记录机械臂执行特定任务时的多模态观测数据，包括关节位置状态以及腕部和俯视视角的视频流，构建了机器人动作与视觉感知之间的映射关系。研究人员能够利用这些序列化数据，训练模型学习从视觉输入到关节控制指令的端到端策略，从而在仿真或真实环境中实现精细的操作任务。

解决学术问题

该数据集有效应对了机器人学中样本效率低下与泛化能力不足的经典难题。通过提供高质量、多视角的演示数据，它支持了离线强化学习与行为克隆等方法的深入研究，使得算法能够在有限交互下学习复杂技能。其结构化的状态-动作对与同步视觉信息，为探索视觉-运动协同、跨模态表示学习以及长期任务规划等前沿课题提供了实证基础，推动了数据驱动机器人控制范式的演进。

衍生相关工作

围绕该数据集，学术界衍生了一系列专注于机器人视觉运动控制的研究工作。例如，基于其多模态特性，研究者开发了融合视觉与状态信息的混合表示模型；同时，该数据集也被用于评估不同模仿学习架构的样本效率与泛化性能。这些工作不仅深化了对机器人技能迁移与持续学习机制的理解，也促进了开源机器人学习框架（如LeRobot）的生态发展，形成了从数据收集到算法创新的良性循环。