SunkissTT/eval_pi0_sort_3_cubes_1m_steps

该数据集使用LeRobot创建，是一个机器人控制数据集，专门用于训练和评估机器人策略。数据集包含一个完整的episode，总共有1199帧，帧率为30fps。数据以parquet格式存储，视频以mp4格式存储。数据集的特征包括动作（6个浮点数，表示机器人关节位置）、观测状态（6个浮点数，表示机器人关节位置）、两个摄像头的图像数据（分辨率480x640，3通道，视频编码为av1），以及时间戳、帧索引、episode索引等元数据。机器人类型为so_follower，适用于机器人学习和控制任务。

许可证: apache-2.0
任务类别:
- 机器人学
标签:
- LeRobot
配置项:
- 配置名称: default
数据文件: data/*/*.parquet
---

本数据集基于[LeRobot](https://github.com/huggingface/lerobot)开发。

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=SunkissTT/eval_pi0_sort_3_cubes_1m_steps">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## 数据集说明
- **主页**：[需补充更多信息]
- **论文**：[需补充更多信息]
- **许可证**：apache-2.0

## 数据集结构
[meta/info.json]:
json
{
"代码库版本": "v3.0",
"机器人类型": "so_follower",
"总回合数": 1,
"总帧数": 1199,
"总任务数": 1,
"分块大小": 1000,
"数据文件总大小（MB）": 100,
"视频文件总大小（MB）": 200,
"帧率": 30,
"数据集划分": {
"训练集": "0:1"
},
"数据文件路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"视频文件路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"数据特征": {
"动作": {
"数据类型": "float32",
"特征名称": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"形状": [
6
]
},
"观测.状态": {
"数据类型": "float32",
"特征名称": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"形状": [
6
]
},
"观测.图像.camera1": {
"数据类型": "视频",
"形状": [
480,
640,
3
],
"特征名称": [
"height",
"width",
"channels"
],
"详细信息": {
"视频高度": 480,
"视频宽度": 640,
"视频编码格式": "av1",
"视频像素格式": "yuv420p",
"是否为深度图": false,
"视频帧率": 30,
"视频通道数": 3,
"含音频": false
}
},
"观测.图像.camera2": {
"数据类型": "视频",
"形状": [
480,
640,
3
],
"特征名称": [
"height",
"width",
"channels"
],
"详细信息": {
"视频高度": 480,
"视频宽度": 640,
"视频编码格式": "av1",
"视频像素格式": "yuv420p",
"是否为深度图": false,
"视频帧率": 30,
"视频通道数": 3,
"含音频": false
}
},
"时间戳": {
"数据类型": "float32",
"形状": [
1
],
"特征名称": null
},
"帧索引": {
"数据类型": "int64",
"形状": [
1
],
"特征名称": null
},
"回合索引": {
"数据类型": "int64",
"形状": [
1
],
"特征名称": null
},
"样本索引": {
"数据类型": "int64",
"形状": [
1
],
"特征名称": null
},
"任务索引": {
"数据类型": "int64",
"形状": [
1
],
"特征名称": null
}
}
}

## 引用
**BibTeX格式**：
bibtex
[需补充更多信息]

搜集汇总

数据集介绍

构建方式

该数据集名为eval_pi0_sort_3_cubes_1m_steps，专为机器人领域中的物体排序任务设计，基于LeRobot框架构建。数据通过模拟环境中的六自由度机械臂（so_follower型机器人）执行“将三个立方体按序排列”的操作任务采集而成。整个数据集包含一个完整的情节（episode），共1199帧，采样频率为每秒30帧，视频与状态数据同步记录。构建过程中，机械臂的动作和观测状态被同时捕获：动作数据为6维连续值，分别对应肩部回转、肩部升降、肘部屈伸、腕部屈伸、腕部旋转及夹爪开合；观测状态同样记录这6个自由度。此外，两路摄像头（camera1和camera2）以AV1编码、640×480分辨率采集视觉图像，形成高保真的多模态数据流。数据集被划分为训练集（唯一情节），并采用分块存储方式，将数据文件与视频文件分别存放于parquet和mp4格式中，便于高效加载。

特点

该数据集具有鲜明的特点，首先聚焦于高度结构化的排序任务，为评估机器人学习算法在精细操作方面的能力提供了标准测试场景。仅有单一情节和单一任务，但1199帧的连续序列确保了时间维度的丰富性，可有效用于策略学习与泛化性能分析。数据包含完整的动作与状态轨迹，且两者维度一致（均为6维），便于基于状态到动作的映射建模。视觉观测方面，双摄像头配置从不同视角捕获场景，增强了环境感知的鲁棒性，而AV1编码的视频在保持画质的同时压缩了存储空间。数据集元信息详尽，如帧索引、时间戳、情节索引和任务索引，支持灵活的数据切片与回放。总体而言，该数据集规模紧凑却信息密度高，尤其适合作为基准测试集来验证模仿学习或强化学习算法在少样本或单一轨迹条件下的表现。

使用方法

使用该数据集时，推荐通过LeRobot库进行加载与处理，该库提供了统一的Dataset API以简化交互。用户可直接调用LeRobot的加载函数读取parquet数据文件和mp4视频文件，获取action、observation.state及observation.images等关键字段。对于行动推理任务，可利用机械臂的6维动作序列作为监督信号，同时结合来自两路摄像头的图像观测和状态向量，构建多模态输入。数据集的分块存储结构（如chunk-000/file-000.parquet）需通过路径模板定位，而metadata中的chunks_size（1000帧）则指导数据流的分段读取策略。研究者可依据frame_index和episode_index进行时序数据切片，或利用task_index筛选特定任务。由于数据集仅包含一个情节，建议将其作为测试集评估预训练模型的性能，或通过数据增强和重采样扩展其应用范围。

背景与挑战

背景概述

在机器人操作领域，物体排序任务作为评估精细化操作能力的经典基准，长期受到研究者的关注。该数据集由Hugging Face社区研究者SunkissTT于近期创建，依托LeRobot开源框架，聚焦于六自由度机械臂在包含三立方体场景中的排序操作。数据集采用so_follower构型机器人，通过双视角摄像头（480×640分辨率）记录30帧/秒的视觉-运动数据，包含单条演示轨迹与1200帧左右的时序样本。其核心研究问题在于探究物理世界模仿学习在低成本机器人平台上的数据效率，为后续策略泛化能力评估提供了标准化测试集。数据集的发布对于降低机器人数据获取门槛、推动开源机器人数据集生态建设具有重要示范效应。

当前挑战

该数据集主要解决机器人精准排序操作这一领域难题，要求模型理解物体空间关系并生成连续多步动作。由于仅包含单条演示数据，模型面临严重的样本稀缺问题，难以通过传统监督学习获得鲁棒策略。构建过程中面临多重挑战：首先，机器人运动轨迹的高频采集（30 FPS）与同步，需要精确的时序对齐以避免视觉-运动数据错位；其次，AV1编码的视频流在降低存储开销的同时，引入了解码延迟与质量权衡；再次，单任务、单器械的设置虽简化了控制变量，却限制了数据集对多形态机器人泛化能力的支持。这些瓶颈共同对策略的跨任务迁移能力和数据高效学习算法提出了更高要求。

常用场景

经典使用场景

eval_pi0_sort_3_cubes_1m_steps数据集专为机器人操作领域的模仿学习与行为克隆任务设计，其核心使用场景聚焦于评估机械臂在执行精细分拣任务时的策略泛化能力。该数据集记录了单个机器人从多视角视觉观测到六维关节动作的完整轨迹，包含约1200帧以30帧每秒采样的高保真数据，特别适合用于训练和测试基于视觉的运动规划模型，例如通过端到端方式学习从像素到关节指令的映射关系。

衍生相关工作

基于该数据集衍生的经典工作主要涉及视觉模仿学习中的跨视角特征对齐与无模型控制方法。研究者利用其提供的多摄像头输入与动作序列，开发了诸如因果决策Transformer、基于对比学习的视觉编码器等架构，显著提升了分拣任务的长程稳定性。此外，数据集的标准化格式催生了LeRobot生态中一批关于数据增强与离线策略评估的工具链，有力推动了机器人学习社区在低延迟、高精度操作基准上的协作创新。

数据集最近研究

最新研究方向

在机器人操作领域，基于海量示范数据进行模仿学习已成为提升泛化能力的关键路径。eval_pi0_sort_3_cubes_1m_steps数据集聚焦于多物体分类摆放这一精细操作任务，通过so_follower机器人从单一视角采集的高频（30fps）双摄像头视觉与6自由度关节状态数据，为研究长时序动作序列的端到端学习提供了标准化基准。该数据集与当前具身智能研究中强调的“视觉-动作”直接映射范式紧密呼应，尤其适用于探索Transformer或扩散策略在非结构化环境中的适应性。随着工业级分拣与家庭服务机器人对实时、鲁棒操作需求的激增，该资源为验证算法在有限样本下的仿真到现实迁移能力提供了关键支撑，其开源模式亦加速了跨团队协作与复现验证。