niklashcs/Threading_D1_threading_d1_2026-04-10_21-43-22

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). <a class="flex" href="https://huggingface.co/spaces/lerobot/visualize_dataset?path=niklashcs/Threading_D1_threading_d1_2026-04-10_21-43-22"> <img class="block dark:hidden" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl.svg"/> <img class="hidden dark:block" src="https://huggingface.co/datasets/huggingface/badges/resolve/main/visualize-this-dataset-xl-dark.svg"/> </a> ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "robomimic", "total_episodes": 500, "total_frames": 111629, "total_tasks": 1, "chunks_size": 1000, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200, "fps": 20, "splits": { "train": "0:500" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "action": { "dtype": "float32", "shape": [ 7 ], "names": [ "eef_delta_pos_x", "eef_delta_pos_y", "eef_delta_pos_z", "eef_delta_rot_rx", "eef_delta_rot_ry", "eef_delta_rot_rz", "gripper_action" ] }, "next.done": { "dtype": "bool", "shape": [ 1 ], "names": [ "done" ] }, "observation.state": { "dtype": "float32", "shape": [ 8 ], "names": [ "robot0_eef_pos_0", "robot0_eef_pos_1", "robot0_eef_pos_2", "robot0_eef_quat_0", "robot0_eef_quat_1", "robot0_eef_quat_2", "robot0_eef_quat_3", "robot0_gripper_qpos_0" ] }, "observation.state.eef_pos": { "dtype": "float32", "shape": [ 3 ], "names": [ "robot0_eef_pos_0", "robot0_eef_pos_1", "robot0_eef_pos_2" ] }, "observation.state.eef_quat": { "dtype": "float32", "shape": [ 4 ], "names": [ "robot0_eef_quat_0", "robot0_eef_quat_1", "robot0_eef_quat_2", "robot0_eef_quat_3" ] }, "observation.state.gripper_qpos": { "dtype": "float32", "shape": [ 1 ], "names": [ "robot0_gripper_qpos_0" ] }, "observation.state.object": { "dtype": "float32", "shape": [ 28 ], "names": [ "object_0", "object_1", "object_2", "object_3", "object_4", "object_5", "object_6", "object_7", "object_8", "object_9", "object_10", "object_11", "object_12", "object_13", "object_14", "object_15", "object_16", "object_17", "object_18", "object_19", "object_20", "object_21", "object_22", "object_23", "object_24", "object_25", "object_26", "object_27" ] }, "observation.images.top": { "dtype": "video", "shape": [ 84, 84, 3 ], "names": [ "height", "width", "channel" ], "info": { "video.height": 84, "video.width": 84, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 20, "video.channels": 3, "has_audio": false } }, "observation.images.wrist": { "dtype": "video", "shape": [ 84, 84, 3 ], "names": [ "height", "width", "channel" ], "info": { "video.height": 84, "video.width": 84, "video.codec": "av1", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 20, "video.channels": 3, "has_audio": false } }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null } } } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```许可证：apache-2.0 任务类别： - 机器人学 标签： - LeRobot 配置项： - 配置名称：default 数据文件：data/*/*.parquet --- 本数据集由[LeRobot](https://github.com/huggingface/lerobot)构建。 [可视化此数据集](https://huggingface.co/spaces/lerobot/visualize_dataset?path=niklashcs/Threading_D1_threading_d1_2026-04-10_21-43-22) ## 数据集描述 - **主页：** [需补充更多信息] - **论文：** [需补充更多信息] - **许可证：** apache-2.0 ## 数据集结构 `meta/info.json` 文件内容如下： json { "代码库版本": "v3.0", "机器人类型": "robomimic", "总回合数": 500, "总帧数": 111629, "总任务数": 1, "分块大小": 1000, "数据文件总大小（MB）": 100, "视频文件总大小（MB）": 200, "帧率（FPS）": 20, "划分方式": { "训练集": "0:500" }, "数据文件路径": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频文件路径": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "特征项": { "动作": { "数据类型": "float32", "形状": [7], "字段名称": [ "末端执行器增量位置x轴", "末端执行器增量位置y轴", "末端执行器增量位置z轴", "末端执行器增量旋转x轴角", "末端执行器增量旋转y轴角", "末端执行器增量旋转z轴角", "夹爪动作" ] }, "next.done": { "数据类型": "bool", "形状": [1], "字段名称": ["完成标记"] }, "观测.状态": { "数据类型": "float32", "形状": [8], "字段名称": [ "机械臂0末端执行器位置x分量", "机械臂0末端执行器位置y分量", "机械臂0末端执行器位置z分量", "机械臂0末端执行器四元数x分量", "机械臂0末端执行器四元数y分量", "机械臂0末端执行器四元数z分量", "机械臂0末端执行器四元数w分量", "机械臂0夹爪关节位置" ] }, "观测.状态.末端执行器位置": { "数据类型": "float32", "形状": [3], "字段名称": [ "机械臂0末端执行器位置x分量", "机械臂0末端执行器位置y分量", "机械臂0末端执行器位置z分量" ] }, "观测.状态.末端执行器四元数": { "数据类型": "float32", "形状": [4], "字段名称": [ "机械臂0末端执行器四元数x分量", "机械臂0末端执行器四元数y分量", "机械臂0末端执行器四元数z分量", "机械臂0末端执行器四元数w分量" ] }, "观测.状态.夹爪关节位置": { "数据类型": "float32", "形状": [1], "字段名称": ["机械臂0夹爪关节位置"] }, "观测.状态.物体状态": { "数据类型": "float32", "形状": [28], "字段名称": [ "物体0", "物体1", "物体2", "物体3", "物体4", "物体5", "物体6", "物体7", "物体8", "物体9", "物体10", "物体11", "物体12", "物体13", "物体14", "物体15", "物体16", "物体17", "物体18", "物体19", "物体20", "物体21", "物体22", "物体23", "物体24", "物体25", "物体26", "物体27" ] }, "观测.图像.顶视角": { "数据类型": "视频", "形状": [84, 84, 3], "字段名称": ["高度", "宽度", "通道数"], "附加信息": { "视频高度": 84, "视频宽度": 84, "视频编码格式": "av1", "视频像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 20, "视频通道数": 3, "是否含音频": false } }, "观测.图像.腕部视角": { "数据类型": "视频", "形状": [84, 84, 3], "字段名称": ["高度", "宽度", "通道数"], "附加信息": { "视频高度": 84, "视频宽度": 84, "视频编码格式": "av1", "视频像素格式": "yuv420p", "是否为深度图": false, "视频帧率": 20, "视频通道数": 3, "是否含音频": false } }, "时间戳": { "数据类型": "float32", "形状": [1], "字段名称": null }, "帧索引": { "数据类型": "int64", "形状": [1], "字段名称": null }, "回合索引": { "数据类型": "int64", "形状": [1], "字段名称": null }, "全局索引": { "数据类型": "int64", "形状": [1], "字段名称": null }, "任务索引": { "数据类型": "int64", "形状": [1], "字段名称": null } } } ## 引用 **BibTeX格式：** bibtex [需补充更多信息]

搜集汇总

数据集介绍

构建方式

在机器人操作领域，高质量的数据集对于推动模仿学习与强化学习算法的进步至关重要。Threading_D1数据集依托LeRobot平台构建，采用Robomimic机器人框架进行数据采集，涵盖了500个完整任务片段，总计111,629帧数据。数据以分块形式存储于Parquet文件中，每块包含1000帧，确保了高效的数据管理与读取。采集过程中，机器人末端执行器的位置、姿态及夹爪状态均被精确记录，同时通过顶部与腕部摄像头捕获了84x84分辨率的视觉信息，帧率为20fps，为算法提供了丰富的多模态输入。

特点

该数据集在机器人操作任务中展现出显著的多模态与结构化特性。其核心特征在于融合了高维动作空间与细致的状态观测，动作向量包含七维末端执行器位移、旋转及夹爪控制指令。观测部分则整合了八维机器人状态、二十八维物体属性以及双视角视觉流，形成了层次化的数据表征。数据组织遵循严格的时空索引，每帧均附带时间戳、帧索引与片段标识，支持按任务或时间维度进行灵活检索。这种设计不仅提升了数据的可解释性，也为复杂策略的端到端训练提供了坚实基础。

使用方法

研究人员可借助LeRobot工具链直接加载与可视化该数据集，通过Hugging Face平台提供的专用空间能够直观浏览数据内容。在具体应用中，数据集适用于训练机器人执行精细操作任务，尤其适合开发基于视觉的模仿学习或离线强化学习模型。数据以标准Parquet格式存储，支持通过帧索引、片段索引等关键字段进行高效查询与批量加载。用户可依据任务需求，灵活提取状态、动作及图像序列，结合时间戳信息构建时序训练样本，从而在仿真或真实机器人平台上验证学习算法的泛化性能与鲁棒性。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习已成为推动机器人自主执行复杂操作任务的核心范式。Threading_D1_threading_d1_2026-04-10_21-43-22数据集由HuggingFace的LeRobot项目于2026年创建，旨在为机器人穿线这一精细操作任务提供大规模、多模态的演示数据。该数据集依托Robomimic框架，收录了500条轨迹、超过11万帧的同步状态观测与视觉信息，其核心研究问题聚焦于如何利用高维感官输入与低维控制指令的对应关系，提升机器人在非结构化环境中完成灵巧操作的泛化能力。此类数据集的涌现，显著推动了端到端机器人策略学习的研究进程，为仿真到实物的迁移奠定了关键基础。

当前挑战

该数据集致力于解决机器人穿线操作的模仿学习挑战，其核心难题在于如何从多视角视觉观测与机器人本体状态中，精准推断出实现成功穿线所需的序列化动作策略。穿线任务本身对空间对准精度与时序协调性要求极高，且涉及复杂的物理接触与形变，这要求学习算法必须克服视觉表征的歧义性、动作序列的长程依赖性以及动态环境的不确定性。在数据集构建层面，挑战主要体现于大规模真实机器人数据采集的耗时性与高成本，需确保动作指令与感官观测的严格同步，并处理高维图像数据的高效压缩与存储。此外，数据标注的缺失也要求模型具备从原始演示中自主提取任务结构的能力。

常用场景

经典使用场景

在机器人学习领域，Threading_D1数据集为研究灵巧操作任务提供了关键支持。该数据集专注于线程穿引这一精细动作，通过记录机械臂末端执行器的位置、姿态及夹爪状态，结合多视角视觉信息，构建了完整的演示轨迹。经典使用场景涉及模仿学习与强化学习算法的训练与评估，研究者利用其丰富的状态-动作对序列，开发能够理解并复现复杂操作策略的模型，推动机器人自主执行高精度装配任务的能力。

实际应用

在实际工业与服务业中，Threading_D1数据集的应用潜力显著。它可用于训练机器人执行电子装配、医疗器械组装等需要穿线、引线技巧的工序，提升生产自动化程度。基于该数据集开发的模型能够适应微小物体的精准操控，降低人工干预需求，在智能制造、医疗辅助及家庭服务机器人等场景中实现更高效、可靠的操作性能。

衍生相关工作

围绕Threading_D1数据集，已衍生出多项经典研究工作。例如，结合视觉-动作映射的端到端模仿学习框架，利用其多模态观测优化策略表示；基于离线强化学习的算法改进，通过数据集中的演示轨迹提升样本利用效率；以及跨任务迁移学习方法的探索，旨在将穿引技能泛化至其他灵巧操作场景，这些工作共同推动了机器人学习领域的理论进展与技术革新。