ajaysri/long_cable_insertion_2_corrected_raw_plus_dagger2x_completion_N10_tail

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot - arx - teleop - long-cable - subtask - dagger - lerobot - v3 configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=ajaysri/long_cable_insertion_2_corrected_raw_plus_dagger2x_completion_N10_tail"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "arx", "total_episodes": 953, "total_frames": 98803, "total_tasks": 3, "chunks_size": 1000, "data_files_size_in_mb": 0, "video_files_size_in_mb": 0, "fps": 50, "splits": { "train": "0:953" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "observation.state": { "dtype": "float32", "shape": [ 14 ], "names": [ "state_0", "state_1", "state_2", "state_3", "state_4", "state_5", "state_6", "state_7", "state_8", "state_9", "state_10", "state_11", "state_12", "state_13" ] }, "observation.velocity": { "dtype": "float32", "shape": [ 14 ], "names": [ "velocity_0", "velocity_1", "velocity_2", "velocity_3", "velocity_4", "velocity_5", "velocity_6", "velocity_7", "velocity_8", "velocity_9", "velocity_10", "velocity_11", "velocity_12", "velocity_13" ] }, "action": { "dtype": "float32", "shape": [ 15 ], "names": [ "action_0", "action_1", "action_2", "action_3", "action_4", "action_5", "action_6", "action_7", "action_8", "action_9", "action_10", "action_11", "action_12", "action_13", "subtask_completion" ] }, "observation.images.video_left": { "dtype": "video", "shape": [ 360, 640, 3 ], "names": [ "height", "width", "channel" ], "info": { "video.height": 360, "video.width": 640, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 50, "video.channels": 3, "has_audio": false } }, "observation.images.video_overhead": { "dtype": "video", "shape": [ 360, 640, 3 ], "names": [ "height", "width", "channel" ], "info": { "video.height": 360, "video.width": 640, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 50, "video.channels": 3, "has_audio": false } }, "observation.images.video_right": { "dtype": "video", "shape": [ 360, 640, 3 ], "names": [ "height", "width", "channel" ], "info": { "video.height": 360, "video.width": 640, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 50, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } }, "repo_id": "ajaysri/long_cable_insertion_2_corrected_raw_plus_dagger2x_completion_N10_tail" } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```This dataset was created using the LeRobot platform and focuses on robotic long cable insertion tasks. It contains 953 episodes and 98,803 frames with a sampling rate of 50fps. The data was collected using an ARX robot and involves 3 tasks, stored in parquet format in chunks. Features include 14-dimensional state and velocity observations, 15-dimensional actions (including subtask completion), and video observations from left, right, and overhead cameras (resolution 360x640, 3 channels, 50fps). The dataset is intended for robotic learning, particularly for policy training with algorithms like DAgger.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，聚焦于机器人操控中的长线缆插入子任务。数据集融合了原始遥操作（raw teleoperation）与DAgger（Dataset Aggregation）范式下两轮迭代生成的校正后轨迹数据，特别关注任务完成的末端阶段（tail）。具体而言，首先通过远程操控采集原始示范数据，随后利用DAgger方法引入专家校正，经过两轮（2x）数据聚合与补全（completion），最终形成包含953个episode、共98803帧的丰富数据集。每个episode以50帧每秒的高频记录，确保了动作的精细度与连续性。

使用方法

数据集采用Parquet格式存储结构化数据，视频文件作为独立MP4文件存放，整体数据结构遵循LeRobot的推荐规范。用户可通过LeRobot库轻松加载与可视化，例如利用Hugging Face Spaces中的可视化工具直接预览数据。使用时，需要根据info.json中定义的features字段解析状态、动作与图像数据，并注意数据集已预先划分为训练集。建议研究者利用DAgger数据增强的特性，结合子任务完成度标签，探索模仿学习与强化学习中奖励塑造的新方法，特别关注长程复杂任务中的末端精度提升策略。

背景与挑战

背景概述

在机器人操作研究领域中，柔性线缆的精确插入任务因其高自由度和复杂动力学特性而成为一项极具挑战性的操作，尤其是在非结构化环境下，传统基于模型的控制方法难以应对线缆的形变与接触不确定性。该数据集由ajaysri等人基于LeRobot框架创建，旨在通过模仿学习推动机器人执行精细的线缆插入操作。数据集采集自ARX机器人平台，采用遥操作与DAgger（数据集聚合）策略相结合的方式，包含953个演示片段，共计98,803帧，涵盖三种子任务。其核心研究问题聚焦于如何利用混合示范数据提升策略在长时域任务中的泛化能力与鲁棒性。该数据集为机器人技能学习社区提供了宝贵的高质量示范资源，尤其在柔顺操作领域具有推动意义，有助于探索从人类示范中学习复杂装配技能的新范式。

当前挑战

该数据集旨在应对的领域核心挑战在于柔性线缆插入任务的动作精确性要求与线缆自身非线性形变带来的控制困难。传统强化学习或运动规划方法在此类接触密集任务中常因模型误差或探索效率低下而失败，亟需大规模、高质量的示范数据来驱动行为克隆或离线强化学习算法的训练。在数据集构建过程中，面临的关键挑战包括：通过遥操作采集精确且可重复的演示数据时，需克服人类示教带来的抖动与不一致性；利用DAgger在线策略生成补充数据时，需保证数据分布覆盖长尾状态以缓解分布偏移问题。此外，多视角视觉观测（左、右、顶视摄像头）与14维状态/速度信号的同步融合，以及子任务完成标记的可靠标注，均为数据质量控制提出了严格技术要求。

常用场景

经典使用场景

在机器人操作领域，精细的线缆插入任务因其高灵动性和低容错性成为衡量机械臂控制能力的经典基准。long_cable_insertion_2_corrected_raw_plus_dagger2x_completion_N10_tail数据集正是为此而生，它通过记录ARX机器人执行长线缆插入子任务的完整轨迹，为模仿学习与强化学习提供了多模态训练素材。研究者可借助该数据集训练智能体从高维视觉与状态观测中学习复杂接触操作，尤其适合开发能够处理柔性物体变形与精准对位的控制策略。其特有的subtask_completion动作标签更允许模型理解任务阶段性完成信号，从而提升长时间尺度作业的鲁棒性。

解决学术问题

该数据集直面机器人领域长期存在的柔性物体操作难题，尤其是线缆在非结构化环境中的自主插入任务。传统方法往往依赖精确的物理建模，却因线缆的弹性、摩擦与随机变形而难以奏效。此数据集通过大规模遥操作数据采集与DAgger（数据聚合）框架下的专家纠正策略，为学界提供了从人类演示中端到端学习接触动力学的可行路径。它解决了模仿学习中分布偏移与数据低效的典型困境，推动了机器人从受控实验室作业向真实车间级柔性装配的学术探索，其多视角视觉数据也促进了视觉伺服与跨模态特征对齐的研究。

实际应用

在工业制造与装配自动化场景中，长线缆插入是电子设备连接、汽车线束组装和航空航天组件装配等环节的核心瓶颈。此数据集训练出的策略可直接部署于协作机器人，实现诸如USB线缆盲插、传感器接头对孔等高精度操作。结合人类遥操作的亚毫米级纠偏数据，机器人能够在线缆因重力垂落或机械臂移动产生形变时实时调整抓取姿态，显著降低产线因接触力异常导致的停机风险。此外，该数据集还可服务于远程手术机器人中柔性器械的递送控制，或服务机器人中电源线自动插拔等贴近人类日常的交互场景。

数据集最近研究

最新研究方向

该数据集聚焦于机器人精细操作中的长线缆插拔任务，涉及遥操作与模仿学习的深度融合。前沿研究方向包括利用DAgger（数据集聚合）算法对原始遥操作数据进行迭代修正，以提升模型在复杂接触任务中的泛化能力与成功率。相关热点事件是LeRobot生态的崛起，该平台推动了机器人学习数据集的标准化与可视化共享，使得多视角视觉状态（左、右、顶视摄像头）与14维关节状态、15维动作空间（含子任务完成信号）的高频采集（50Hz）成为可能。此数据集结合了原始采集与DAgger增强的混合策略，为研究长时序、多阶段装配动作的模仿学习提供了宝贵基准，对推动精细工业自动化与家庭服务机器人的自适应操控具有深远意义。