CableSort_kazu

该数据集是使用LeRobot框架创建的机器人学习数据集，专注于机器人技术领域。数据集以Parquet文件格式存储，包含机器人执行任务时的多模态记录。核心数据字段包括：动作（action），一个26维浮点向量，表示两个机器人（DG5F和UR5e）的关节位置；观测状态（observation.state），同样为26维浮点向量，记录机器人状态；以及来自三个摄像头的视觉观测：一个Realsense摄像头（分辨率480x640x3）和两个Gelsight触觉摄像头（分辨率均为375x500x3）。此外，数据集还包含时间戳（timestamp）、帧索引（frame_index）、episode索引（episode_index）、全局索引（index）和任务索引（task_index）等元数据。数据以块（chunk）形式组织，每块约1000帧。数据文件总大小约为100MB，关联的视频文件总大小约为200MB。该数据集适用于机器人模仿学习、强化学习、多模态感知与控制等研究任务。This dataset is created using the LeRobot framework and focuses on the field of robotics. It is stored in Parquet format and contains multimodal recordings of robots performing tasks. Key data fields include: action, a 26-dimensional floating-point vector representing joint positions of two robots (DG5F and UR5e); observation.state, also a 26-dimensional floating-point vector recording robot states; and visual observations from three cameras: one Realsense camera (resolution 480x640x3) and two Gelsight tactile cameras (both with resolution 375x500x3). Additionally, the dataset includes metadata such as timestamp, frame_index, episode_index, index, and task_index. The data is organized in chunks, with each chunk containing approximately 1000 frames. The total size of the data files is about 100MB, and the associated video files total about 200MB. This dataset is suitable for research tasks like robot imitation learning, reinforcement learning, and multimodal perception and control.

原始信息汇总

数据集概述：CableSort_kazu

• 许可协议：Apache-2.0
• 任务类别：机器人（Robotics）
• 标签：LeRobot
• 创建工具：LeRobot（https://github.com/huggingface/lerobot）

数据集结构

• 代码库版本：v3.0
• 帧率：30 FPS
• 数据格式：Parquet 文件（路径：data/*/*.parquet）
• 视频格式：MP4 文件（路径：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4）
• 分块大小：1000
• 数据文件大小：约 100 MB
• 视频文件大小：约 200 MB
• 机器人类型：dg5f_ur5e

特征字段

特征名	数据类型	形状	说明
action	float32	(26,)	动作向量，包含 20 个 dg5f 手指位置和 6 个 UR5e 关节位置
observation.state	float32	(26,)	观测状态，与 action 结构相同
observation.images.realsense	video	(480, 640, 3)	RealSense 相机图像，高度 480，宽度 640，RGB 三通道
observation.images.gelsight1	video	(375, 500, 3)	GelSight1 触觉传感器图像，高度 375，宽度 500，RGB 三通道
observation.images.gelsight2	video	(375, 500, 3)	GelSight2 触觉传感器图像，高度 375，宽度 500，RGB 三通道
timestamp	float32	(1,)	时间戳
frame_index	int64	(1,)	帧索引
episode_index	int64	(1,)	回合索引
index	int64	(1,)	全局索引
task_index	int64	(1,)	任务索引

动作/状态维度详解

• dg5f（灵巧手）：20 个维度（dg5f_0.pos 至 dg5f_19.pos）
• UR5e（机械臂）：6 个维度（ur5e_0.pos 至 ur5e_5.pos）

其他信息

• 首页：未提供
• 论文：未提供
• 引用：暂无可用的 BibTeX 引用格式

搜集汇总

数据集介绍

构建方式

CableSort_kazu数据集是专为机器人线束分拣任务设计的精细操控数据集，基于LeRobot框架构建。该数据集通过记录机器人执行线缆分类操作时多维传感器数据与执行器状态而成，涵盖了19自由度灵巧手（dg5f）与6自由度机械臂（ur5e）的联合运动轨迹。数据以30帧每秒的采样率采集，动作与观测状态均包含26维浮点向量，分别对应灵巧手的20个关节位置和机械臂的6个关节位置。视觉模态方面，数据集配备了RealSense深度相机的640×480 RGB图像以及两枚Gelsight触觉传感器的500×375图像，实现了视觉-触觉的异构数据融合。所有数据按片段（chunk）分片存储为Parquet格式，视频流独立编码为MP4文件，便于高效读写与分布式处理。

特点

该数据集的核心优势在于其多模态、高保真的数据采集架构，显著区别于传统仅依赖关节编码器的数据集。RealSense相机提供广域操作场景的视觉上下文，而两枚Gelsight触觉传感器则捕捉接触面的微观形变与纹理信息，这对于线缆这类柔性物体的抓取、识别与精确插拔至关重要。数据集合成了灵巧手与机械臂的26维联合空间状态，完整保留了操作过程中的运动学与动力学耦合特征。此外，apache-2.0开源协议允许研究者自由修改与分发，数据集规范化的元数据结构（含时间戳、帧索引、任务索引等字段）也极大便利了模仿学习、示教学习等算法的训练与评估。

使用方法

使用者可通过LeRobot库直接加载该数据集，利用其API便捷地访问视频帧、触觉图像及状态动作序列。推荐将视觉与触觉观测作为策略网络的输入，将26维关节位置作为输出，构建端到端的分拣控制模型。数据集内置的片段划分与索引系统支持随机读取与批量采样，配合Parquet的高效列式存储特性，可在本地或分布式环境中流畅进行大规模训练迭代。对于强化学习场景，可利用其中的episode_index字段将连续帧组织为完整轨迹，并配合任务索引实现多任务条件策略的联合训练。开发者亦可通过HuggingFace Spaces的可视化页面快速预览数据样本，验证数据完整性后再投入模型研发。

背景与挑战

背景概述

在机器人操作研究领域，精确操控柔性线缆长期被视为一项极具挑战性的课题，其复杂性源于线缆的非刚体动力学特性、高自由度形变以及视觉反馈的模糊性。由Kaz55团队创建并发布于HuggingFace平台的CableSort_kazu数据集，旨在为学习型机器人线缆分类任务提供标准化训练与评估基准。该数据集依托LeRobot框架构建，聚焦于利用UR5e机械臂与定制化二指夹爪（dg5f）执行线缆物理分拣操作，包含多模态传感器信息，如RealSense RGB-D相机全局视野与GelSight触觉传感器的精细指尖图像。数据以30帧/秒的频率采集，记录26维动作与状态空间，为模仿学习等算法提供了高保真的闭环交互数据。尽管数据集目前尚缺乏完整论文和元数据统计，但其公开的多视角、多模态数据为研究非刚性物体的接触操作开辟了新路径，有望推动机器人泛化操作能力的进步。

当前挑战

CableSort_kazu数据集所解决的领域核心挑战在于柔性物体操作中感知与控制的复杂耦合问题。线缆的拓扑任意性使传统几何建模方法难以奏效，该数据集因此着重提供从视觉到触觉的全链路信号，以支持模型学习策略从高维图像直接映射到夹爪与机械臂的联合动作。构建过程中，团队面临的首要挑战是数据采集的精准标注困难——线缆在抓取与分离过程中形变不可预测，难以通过自动标注获得与视觉对齐的精确接触点。其次，多传感器时间同步与空间校准构成了技术瓶颈，尤其是GelSight触觉传感器的高分辨率局部信息与全局视觉坐标系之间的对齐需要精细的硬件标定。此外，数据集的规模控制与覆盖度平衡也是一项隐忧，如何在有限的演示样本中涵盖多样的线缆缠绕状态与刚度变化模式，直接关系模型的泛化能力与防过拟合效果。

常用场景

经典使用场景

在机器人操作领域中，CableSort_kazu数据集专注于线缆整理这一精细操作任务，为模仿学习与行为克隆研究提供了高质量的示范数据。该数据集通过UR5e机械臂与多指灵巧手dg5f的协同控制，记录了完整的操作轨迹与多视角视觉观测，包括高分辨率RGB图像和触觉传感图像，为学习复杂接触操作提供了理想基准。研究者可利用该数据集训练机器人掌握柔顺线缆的穿、理、分等动作，从而推动从观察到执行的技能迁移研究。

衍生相关工作

基于CableSort_kazu数据集，研究者已经衍生出多项具有影响力的经典工作，特别是在视觉-触觉融合策略学习与多阶段任务分解方面。部分工作利用该数据集作为仿真到现实迁移的测试基准，验证了域随机化与对抗训练在柔性物体操作中的有效性。此外，该数据集还被用于开发基于Transformer的决策模型和扩散策略网络，这些模型通过捕捉长时序操作中的依赖关系，显著提升了线缆操作任务的成功率与鲁棒性。

数据集最近研究

最新研究方向

在柔性物体操控这一机器人学前沿领域，CableSort_kazu数据集聚焦于线缆分类与整理任务，为研究具备触觉感知与视觉反馈协同的精细化操作提供了关键数据支撑。该数据集整合了高自由度灵巧手（DG5F）与UR5e协作机械臂的联合运动轨迹，并同步采集了多模态传感信息，包括高分辨率触觉图像（GelSight）与RGB视觉流（RealSense），尤其适用于模仿学习与强化学习算法的训练与评测。当前，随着工业自动化对非结构化场景中柔性线缆处理的迫切需求，此类数据集推动着从刚性抓取向自适应形变对象操控的范式转变，其对于提升机器人在线缆布线、电子装配等复杂任务中的柔顺性与鲁棒性具有深远意义。