Smencomojica/record-test

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=Smencomojica/record-test">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 10,
"total_frames": 5972,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:10"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.front": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.side": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.wrist": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

This dataset was created using LeRobot and belongs to the robotics domain. It contains 10 episodes, 5972 frames, 1 task, with data files size of 100MB and video files size of 200MB, at 30fps. The dataset structure includes features such as action, observation state, images (front, side, wrist), timestamp, frame index, episode index, index, and task index. The data formats are parquet and mp4.

搜集汇总

数据集介绍

构建方式

record-test数据集基于LeRobot框架构建，旨在为机器人模仿学习提供标准化的数据采集与存储范例。该数据集通过远程操作或预设策略收集了共计10个完整操作轨迹，包含5972帧时序数据，所有数据均以Parquet格式高效存储，并辅以AV1编码的视频文件，分别从前置、侧方及腕部三个视角捕捉机械臂的执行过程。数据采集过程中，系统化记录了包含6自由度关节位置及夹爪状态的action与observation.state序列，确保了动作与状态空间的高度对齐。

特点

record-test数据集具备显著的结构化与多模态特性。其核心特征在于提供了精准的action与observation.state双通道数据，二者维度一致，皆包含肩关节旋转、提升、肘部弯曲、腕部旋转及夹爪等六维控制量，便于模仿学习中的逆动力学建模。同时，数据集集成了三路480×640分辨率的高清视频流，从不同空间尺度记录场景动态，为视觉运动策略的研发提供了丰富素材。此外，内置的时间戳、帧索引及任务索引字段，使得轨迹分割与序列化处理极为便捷。

使用方法

record-test数据集专为基于序列建模的机器人策略学习而设计，可通过LeRobot工具套件直接加载与预处理。使用者可依据提供的meta/info.json文件中的分段信息，将10个回合按比例划分为训练集与验证集。在应用过程中，推荐采用滑动窗口法提取action与observation时序对，以构建行为克隆或强化学习所需的输入-输出样本。视频数据经解码后可与状态向量联合作为观测输入，用于端到端策略网络的训练。该数据集亦支持通过HuggingFace Spaces进行可视化预览，便于快速评估数据质量与任务多样性。

背景与挑战

背景概述

随着机器人学习领域的迅猛发展，高质量、多模态的数据集成为推动具身智能研究的关键基石。record-test数据集由Hugging Face社区成员Smencomojica于近期创建，基于LeRobot开源框架构建，旨在为机器人操作任务提供标准化的数据采集与复现范例。该数据集聚焦于so_follower型机器人，通过10个完整episode记录、总计5972帧的多视角视觉与关节状态信息，系统性地捕捉了机器人执行单一任务时的动作序列与感知数据。其贡献在于将机器人操作数据以结构化的Parquet与MP4格式进行封装，并定义了统一的特征模式（包括6维关节指令、3路640×480 RGB视频流以及时间戳等元数据），为后续研究提供了可重复利用的基准。尽管规模有限，record-test在验证LeRobot数据生态的兼容性、降低机器人数据获取门槛方面具有重要示范意义，有效促进了从仿真到真实场景的迁移研究。

当前挑战

当前机器人操作领域面临的核心挑战在于如何从有限样本中泛化到复杂动态环境。record-test数据集直接回应了数据稀缺性与多模态融合难题，但构建过程暴露出若干关键瓶颈：首先，10个episode与单任务设定限制了模型对变体场景（如不同光照、物体位姿）的适应能力，亟需通过数据增强或元学习策略突破小样本瓶颈；其次，三路摄像头（前视、侧视、腕部）采集的30fps视频流与6维动作指令虽保证时序同步，但高维视觉信息与低维状态空间的跨模态对齐仍存在噪声累积风险；此外，Parquet+MP4混合存储格式虽兼顾结构化查询与视频压缩效率，但100MB数据文件与200MB视频文件的分离管理对分布式训练I/O吞吐量构成考验。最终，缺乏公开论文与技术报告使数据采集协议（如遥操作精度、机器人标定方法）的可复现性存疑，制约了其在零样本迁移与跨本体泛化任务中的实际效用。

常用场景

经典使用场景

record-test数据集专注于机器人操作领域，旨在为基于视觉的模仿学习提供标准化的训练与评估基准。该数据集通过so_follower机器人录制了10个演示片段，包含5972帧的高频交互数据，涵盖了肩部、肘部、腕部及夹爪的关节空间动作序列。其结构兼顾了底层控制信号与多视角视觉观测，包括前视、侧视和腕部摄像头采集的30帧每秒视频数据。经典用法是将这些物理状态与图像序列配对，训练策略网络以复现专家演示行为，实现从感知到动作的端到端映射。

实际应用

在实际场景中，record-test可用于训练类人机器人执行精密操作任务，例如在工业装配中引导机械臂完成零件抓取与放置。其多视角图像输入使系统能适应动态光照和遮挡环境，提高视觉伺服控制的鲁棒性。在康复医疗领域，基于该数据集训练的模型可辅助外骨骼设备学习患者专属的运动模式。服务机器人也能借助这些轨迹数据实现家庭环境中的物体操作，如开门或递送物品，降低编程复杂度和部署成本。

衍生相关工作

基于record-test的结构规范，衍生出多项推进机器人学习社区发展的工作。LeRobot框架以此为基准，构建了标准化数据集生成流水线，支持其他研究者轻松扩展类似录制方案。后续工作包括在so_follower硬件上迁移该数据集的训练策略，验证域适应方法的有效性。此外，有研究将其与离线强化学习结合，探索从固定演示中提取最优评估指标。多任务版本则通过扩展任务索引，催生了跨场景元学习方法的系列论文，提升了数据利用效率。