aivanni/so101-algebra-v2

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

<a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=aivanni/so101-algebra-v2">
<img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/>
<img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/>
</a>

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "so_follower",
"total_episodes": 3,
"total_frames": 2766,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 30,
"splits": {
"train": "0:3"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"action": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.state": {
"dtype": "float32",
"names": [
"shoulder_pan.pos",
"shoulder_lift.pos",
"elbow_flex.pos",
"wrist_flex.pos",
"wrist_roll.pos",
"gripper.pos"
],
"shape": [
6
]
},
"observation.images.wrist": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.front": {
"dtype": "video",
"shape": [
480,
640,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 480,
"video.width": 640,
"video.codec": "av1",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 30,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作领域，高质量的数据集对于推动模仿学习与强化学习算法的进步至关重要。so101-algebra-v2数据集依托LeRobot平台构建，通过记录真实机器人执行任务的过程来采集数据。数据以分块形式存储于Parquet文件中，涵盖三个完整任务片段，总计2766帧，采样频率为每秒30帧。每个数据点整合了机器人的关节位置状态、前视与腕部摄像头视频流，以及精确的时间戳与索引信息，确保了数据序列的时序一致性与完整性。

特点

该数据集在机器人学习领域展现出鲜明的多模态特性，不仅包含六自由度机械臂的连续动作空间与关节状态观测，还融合了双视角视觉信息。前视与腕部摄像头以480x640分辨率提供RGB视频流，编码为AV1格式，有效平衡了存储效率与图像质量。数据结构设计严谨，通过帧索引、片段索引与任务索引实现多层次数据组织，支持对长时程任务进行细粒度分析。其统一的Apache 2.0许可协议为学术与工业界的开放研究提供了便利。

使用方法

研究者可通过HuggingFace平台直接访问该数据集，利用其预定义的数据加载接口高效读取Parquet格式文件。数据集适用于机器人策略学习、行为克隆及视觉运动控制等任务，用户可提取关节动作、状态观测及同步视频帧进行模型训练。配套的可视化工具支持动态回放任务执行过程，便于直观分析机器人行为。在具体应用中，建议依据帧索引重建任务轨迹，并利用多模态观测数据构建端到端的学习框架。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的研究亟需高质量、多模态的真实世界数据集以推动算法泛化能力的提升。so101-algebra-v2数据集由LeRobot团队构建，依托开源机器人学习框架LeRobot，专注于采集实体机器人执行任务过程中的多维度交互数据。该数据集的核心研究问题在于如何通过整合关节状态、视觉观测与动作指令的时序信息，为机器人策略学习提供可扩展且结构化的训练资源，从而促进在复杂动态环境中自主操作技能的高效习得。

当前挑战

该数据集旨在应对机器人操作任务中策略泛化与样本效率的经典挑战，其构建过程面临多重困难。数据采集需协调多传感器同步，确保关节编码器与视觉流在时序上精确对齐，同时维持高帧率视频的存储与编码效率。此外，在有限任务场景下收集足量且多样化的交互轨迹，以覆盖状态-动作空间的潜在分布，是提升模型泛化性能的关键瓶颈。数据标注与结构化组织亦需设计通用且可扩展的元数据框架，以支持后续算法的便捷访问与高效训练。

常用场景

经典使用场景

在机器人操作领域，so101-algebra-v2数据集为模仿学习算法的训练与评估提供了关键支持。该数据集通过记录机械臂在特定任务中的关节位置、图像观察及时间戳序列，构建了完整的交互轨迹，使得研究人员能够基于真实世界数据训练策略模型，以复现人类演示的复杂操作行为。

衍生相关工作

围绕该数据集，学术界衍生出一系列专注于视觉模仿学习与机器人策略泛化的研究。例如，结合强化学习与行为克隆的混合方法常以此为基础进行验证，同时也有工作探索如何利用其多模态数据提升模型在未见任务上的适应能力，促进了机器人学习领域的算法创新。

数据集最近研究

最新研究方向

在机器人操作领域，多模态感知与模仿学习正成为推动智能体泛化能力的关键路径。so101-algebra-v2数据集通过整合机械臂关节状态与双视角视觉流，为端到端策略学习提供了丰富的时空对齐数据。当前研究聚焦于利用此类结构化轨迹数据，探索基于Transformer的序列建模方法，以解决动态环境下的长时程任务规划难题。随着具身智能热潮的兴起，该数据集支持的行为克隆与逆强化学习方向，正助力机器人突破仿真到实物的迁移瓶颈，为柔性制造与家庭服务场景提供可解释的决策基础。