Adkid/Record

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so101_follower",
"total_episodes": 3,
"total_frames": 2244,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 500,
"fps": 30,
"splits": {
"train": "0:3"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.front_cam": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.hand_cam": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

许可证: apache-2.0
task_categories:
- 机器人学
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

本数据集基于[LeRobot](https://github.com/huggingface/lerobot)开发构建。

## 数据集说明

- **主页:** [需补充更多信息]
- **论文:** [需补充更多信息]
- **许可证:** apache-2.0

## 数据集结构

[meta/info.json](meta/info.json):
json
{
"代码库版本": "v3.0",
"机器人类型": "so101_follower",
"总回合数": 3,
"总帧数": 2244,
"总任务数": 1,
"分块大小": 1000,
"数据文件总大小（单位：MB）": 100,
"视频文件总大小（单位：MB）": 500,
"帧率": 30,
"数据集划分": {
"训练集": "0:3"
},
"数据路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"视频路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"数据特征": {
"动作": {
"数据类型": "float32",
"特征名称": [
"肩旋关节位置",
"肩抬关节位置",
"肘屈关节位置",
"腕屈关节位置",
"腕滚关节位置",
"夹爪位置"
],
"形状": [
6
]
},
"观测状态": {
"数据类型": "float32",
"特征名称": [
"肩旋关节位置",
"肩抬关节位置",
"肘屈关节位置",
"腕屈关节位置",
"腕滚关节位置",
"夹爪位置"
],
"形状": [
6
]
},
"观测图像.前视摄像头": {
"数据类型": "视频",
"形状": [
480,
640,
3
],
"特征名称": [
"高度",
"宽度",
"通道数"
],
"详细信息": {
"视频高度": 480,
"视频宽度": 640,
"视频编码格式": "av1",
"视频像素格式": "yuv420p",
"是否为深度图": false,
"视频帧率": 30,
"视频通道数": 3,
"是否包含音频": false
}
},
"观测图像.手眼摄像头": {
"数据类型": "视频",
"形状": [
480,
640,
3
],
"特征名称": [
"高度",
"宽度",
"通道数"
],
"详细信息": {
"视频高度": 480,
"视频宽度": 640,
"视频编码格式": "av1",
"视频像素格式": "yuv420p",
"是否为深度图": false,
"视频帧率": 30,
"视频通道数": 3,
"是否包含音频": false
}
},
"时间戳": {
"数据类型": "float32",
"形状": [
1
],
"特征名称": null
},
"帧索引": {
"数据类型": "int64",
"形状": [
1
],
"特征名称": null
},
"回合索引": {
"数据类型": "int64",
"形状": [
1
],
"特征名称": null
},
"全局索引": {
"数据类型": "int64",
"形状": [
1
],
"特征名称": null
},
"任务索引": {
"数据类型": "int64",
"形状": [
1
],
"特征名称": null
}
}
}

## 引用

**BibTeX:**
bibtex
[需补充更多信息]

搜集汇总

数据集介绍

构建方式

在机器人学领域，数据集的构建往往依赖于真实的物理交互过程。Record数据集通过LeRobot平台，采集了so101_follower机器人在执行任务过程中的多模态数据。该数据集以30帧每秒的速率记录了三个完整的工作周期，涵盖了2244个数据帧，并以分块存储的方式将数据组织为Parquet格式文件，便于高效存取与处理。

特点

Record数据集的特点体现在其丰富的多模态观测信息与精细的动作标注。数据集不仅包含机器人六个关节的位置状态作为观测与动作特征，还同步提供了前视摄像头与手部摄像头的视频流，分辨率均为640x480像素。这种结构化的设计使得数据集能够支持从状态到图像的端到端学习，为模仿学习与强化学习算法提供了高质量的实验基础。

使用方法

使用Record数据集时，研究人员可通过解析meta/info.json中的元数据信息，按照指定的路径模式加载数据块。数据集已预分为训练集，涵盖全部三个工作周期。用户可依据帧索引、回合索引等字段进行数据切片，结合动作、状态及双视角图像数据，构建适用于机器人控制策略训练或视觉感知模型验证的数据管道。

背景与挑战

背景概述

在机器人学习领域，高质量、大规模的真实世界交互数据对于推动模仿学习与强化学习算法的进步至关重要。Record数据集由HuggingFace的LeRobot项目创建，旨在为机器人操作任务提供丰富的多模态演示数据。该数据集聚焦于机械臂控制，具体涉及so101_follower型机器人，通过整合关节状态、前视与手部摄像头视频流，构建了涵盖动作、观测与时间戳的结构化序列。其设计核心在于支持端到端策略学习，促进机器人从视觉感知到关节运动映射的泛化能力研究，为家庭与服务场景下的自主操作任务奠定数据基础。

当前挑战

Record数据集致力于解决机器人模仿学习中从高维视觉输入到连续动作空间映射的复杂挑战，其核心问题在于如何从有限的人类演示中泛化出鲁棒且精确的控制策略。在构建过程中，面临多模态数据同步与对齐的技术难题，需确保视频流、关节状态与时间戳间的一致性。此外，数据规模相对有限，仅包含3个 episodes 和2244帧，可能制约模型在多样化场景下的泛化性能。数据标注与任务定义的缺失也增加了利用该数据集进行监督或任务导向学习的复杂性，要求研究者开发更高效的数据利用与增强方法。

常用场景

经典使用场景

在机器人学习领域，Record数据集以其多模态特性为机器人模仿学习提供了经典范例。该数据集整合了机械臂关节状态、前视摄像头与手部摄像头视频流，以及时间戳等结构化信息，使得研究者能够基于真实世界交互数据训练端到端策略。其典型应用场景包括机械臂动作序列的生成与预测，通过观察人类演示或自主探索记录，模型学习从视觉感知到关节控制的映射关系，为机器人执行抓取、放置等精细操作奠定数据基础。

实际应用

在实际机器人部署中，Record数据集可直接用于服务机器人或工业机械臂的技能学习。例如，在仓储分拣或家庭辅助场景中，基于该数据集训练的模型能够使机器人通过视觉观察模仿人类操作流程，自主完成物品抓取、工具使用等任务。其提供的真实环境视频与动作对降低了仿真到实物的迁移差距，为机器人适应动态、非结构化环境提供了可靠的数据支撑，加速了智能机器人在物流、医疗等领域的应用落地。

衍生相关工作

围绕Record数据集，学术界衍生了一系列经典研究工作，主要集中在视觉运动策略学习领域。例如，基于该数据集的变体，研究者开发了结合时空注意力的行为克隆模型，提升了长时程任务的动作泛化能力；亦有工作利用其多视角视频流探索了自监督表示学习，从机器人交互数据中提取可迁移的视觉特征。这些工作不仅拓展了模仿学习的理论边界，也为后续大规模机器人数据集的构建与标准化提供了重要参考。