ankile/threading-d1-dagger-sobol-v1-r12

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "panda",
"total_episodes": 50,
"total_frames": 17076,
"total_tasks": 1,
"chunks_size": 1000,
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200,
"fps": 20,
"splits": {
"train": "0:50"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"observation.state": {
"dtype": "float32",
"shape": [
9
],
"names": [
"eef_pos_x",
"eef_pos_y",
"eef_pos_z",
"eef_quat_x",
"eef_quat_y",
"eef_quat_z",
"eef_quat_w",
"gripper_qpos_left",
"gripper_qpos_right"
]
},
"observation.environment_state": {
"dtype": "float32",
"shape": [
28
],
"names": [
"needle_pos_x",
"needle_pos_y",
"needle_pos_z",
"needle_quat_x",
"needle_quat_y",
"needle_quat_z",
"needle_quat_w",
"needle_to_eef_pos_x",
"needle_to_eef_pos_y",
"needle_to_eef_pos_z",
"needle_to_eef_quat_x",
"needle_to_eef_quat_y",
"needle_to_eef_quat_z",
"needle_to_eef_quat_w",
"tripod_pos_x",
"tripod_pos_y",
"tripod_pos_z",
"tripod_quat_x",
"tripod_quat_y",
"tripod_quat_z",
"tripod_quat_w",
"tripod_to_eef_pos_x",
"tripod_to_eef_pos_y",
"tripod_to_eef_pos_z",
"tripod_to_eef_quat_x",
"tripod_to_eef_quat_y",
"tripod_to_eef_quat_z",
"tripod_to_eef_quat_w"
]
},
"action": {
"dtype": "float32",
"shape": [
7
],
"names": [
"delta_eef_pos_x",
"delta_eef_pos_y",
"delta_eef_pos_z",
"delta_eef_rot_x",
"delta_eef_rot_y",
"delta_eef_rot_z",
"gripper_action"
]
},
"source": {
"dtype": "int64",
"shape": [
1
],
"names": [
"source_id"
]
},
"success": {
"dtype": "int64",
"shape": [
1
],
"names": [
"success_flag"
]
},
"intervention": {
"dtype": "int64",
"shape": [
1
],
"names": [
"intervention_flag"
]
},
"is_valid": {
"dtype": "int64",
"shape": [
1
],
"names": [
"is_valid_flag"
]
},
"reward": {
"dtype": "float32",
"shape": [
1
],
"names": [
"reward"
]
},
"done": {
"dtype": "int64",
"shape": [
1
],
"names": [
"done_flag"
]
},
"observation.images.agentview": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_eye_in_hand": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channels"
],
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null
}
}
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

该数据集依托于LeRobot框架构建，专为机器人模仿学习与强化学习场景设计。数据采集基于Franka Emika Panda机械臂平台，通过Sobol序列采样与DAgger（数据集聚合）算法相结合的方式，实现了高效的数据增广与策略优化。数据集共包含50个完整回合，总计17076帧时序数据，采样频率为20帧/秒，所有回合均用于训练。数据以Parquet格式存储于分块文件中，同时配套以H.264编码的高清视频流，分别记录机器人视角与手眼相机视角的视觉观察，构成了结构化的多模态采集体系。

特点

该数据集的核心特点在于其精细化的状态空间设计与任务导向的标注体系。观测数据涵盖9维机械臂末端执行器位姿与夹爪状态，以及28维环境特征，包括针具、三脚架等关键目标的位姿及其与末端执行器的相对关系，为复杂操作任务提供了充分的上下文信息。动作空间为7维增量控制信号，支持末端位置、姿态与夹爪动作的联合建模。此外，数据集中包含成功标志、干预标志、有效性标志及奖励信号等元数据，便于在模仿学习与离线强化学习中评估和过滤关键样本。

使用方法

该数据集可直接通过LeRobot工具库加载与使用。用户需将数据存放于统一根目录下，利用LeRobot的dataset API读取Parquet数据文件与对应的视频帧。数据特征包含'observation.state'、'observation.environment_state'、'action'等键，以及两类视觉图像字段'observation.images.agentview'和'observation.images.robot0_eye_in_hand'，便于构建端到端的策略网络。此外，数据集支持按episode_index和frame_index进行时序索引，适合用于训练基于时序建模的机器人控制策略，如行为克隆或基于模型的价值函数估计。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的融合催生了大量针对精细操作任务的数据集，其中threading-d1-dagger-sobol-v1-r12数据集由LeRobot社区基于DAgger（数据集聚合）方法构建，于近期发布，聚焦于机器人穿针引线这一高精度任务。该数据集依托Franka Emika Panda机械臂，通过SOBOL序列采样策略生成50个交互片段，共17076帧数据，涵盖末端执行器位姿、夹爪状态及环境物体（如针、三脚架）的完整运动学信息，并配以多视角视觉观测。其核心研究问题在于如何利用混合专家演示与自我改进策略，提升机器人在复杂接触动力学任务中的泛化能力，为手术机器人或精密装配等应用提供基准训练资源，对推动基于视觉-运动联合建模的模仿学习算法具有显著价值。

当前挑战

该数据集所解决的领域挑战集中于机器人精细操作中的高维状态-动作映射难题，例如穿针动作需精确控制7自由度末端执行器与可变形针体之间的实时交互，传统端到端模型易因数据稀疏性而失败。在构建过程中，采用DAgger算法需人工介入纠正策略偏差，但50个训练片段中成功标志与干预标志的稀疏标注（仅每帧含二值化反馈）对奖励塑形构成挑战，同时视觉流（256×256分辨率、20fps）与运动学特征（37维状态空间）的异构融合易产生模态不对齐问题。此外，SOBOL采样的随机性虽提升了状态覆盖度，但局部奇异性（如针尖与目标点错位）仍导致演示质量波动，需依赖事后重标记策略补偿，增加了数据校准的复杂度。

常用场景

经典使用场景

在机器人学习与具身智能的前沿领域，threading-d1-dagger-sobol-v1-r12数据集为模仿学习与行为克隆研究提供了高保真的操作数据。该数据集基于Franka Emika Panda机器人平台，采集了50个完整回合的针线穿引任务示范，包含机器人末端执行器位姿、夹爪状态、环境物体位姿以及多视角视觉观测（agentview与手眼相机）。其经典应用场景在于训练机器人从视觉输入到动作输出的映射策略，尤其适合研究基于DAgger（数据集聚合）算法的交互式模仿学习范式。研究者可将此数据集作为强基线，评估不同策略网络架构在复杂精细操作任务中的泛化能力。

解决学术问题

该数据集主要解决机器人精细操作中数据效率与策略泛化的学术难题。传统模仿学习受限于静态示范数据的分布偏移问题，而此数据集通过DAgger算法框架采集了包含干预标记的交互式数据，可有效缓解策略在外推状态下的性能退化。此外，它提供了28维环境状态特征（如针与三脚架的位姿），使得研究者能够探索状态表示学习对任务成功率的影响。该数据集的意义在于推动机器人从结构化演示中学习鲁棒策略的研究，特别是在高精度任务中平衡探索与利用的理论验证。

衍生相关工作

该数据集催生了一系列关于数据高效策略学习与跨任务迁移的研究工作。其中，基于‘DAgger变体’的仿真到现实（Sim2Real）迁移方法是典型衍生方向，研究者利用数据中的干预标记开发了鲁棒模仿学习框架。此外，数据集中的视觉与状态序列被用于训练视觉-语言-动作多模态基础模型，验证了预训练表示在零样本机器人操作中的潜力。围绕其‘环境状态’特征，出现了动态环境建模的研究，通过对比学习提取物体的几何与位姿先验知识，显著提升了策略对非结构化场景的适应力。