机器人滑动触觉位姿数据

本数据集应用于具身智能领域中机器人滑动触觉感知与精细操作方向，具体为基于滑动触觉信号的物体六自由度位姿估计任务。适用条件：需使用DIGIT系列视觉触觉传感器（240×320分辨率，30Hz采样率）或兼容传感器采集的原始数据，配合TLabel工具包及支持CSV加载的下游训练框架使用。适用范围：覆盖10种YCB标准物体（糖盒、罐头、瓶子、杯子、马克杯、电钻、剪刀、扳手、锤子、棒球），每物体5条轨迹，共50个序列、182,983帧数据，每帧含触觉图像路径及传感器与物体的三维位置和四元数朝向标注。适用对象：工业制造企业（视觉受限环境下触觉引导抓取与装配）、服务机器人研发团队、高校科研机构的触觉感知研究、AI算法开发者的模型训练与评测。应用目的：训练触觉图像到物体位姿的端到端估计模型，训练跨物体跨轨迹泛化的操作策略，为触觉感知提供统一评测基准。要解决的主要问题：全球50+触觉传感器品牌数据格式碎片化导致跨平台迁移成本高；高质量滑动触觉标注数据稀缺；原始numpy与图像异构数据缺乏结构化索引。本数据集通过TLabel标准化为22维统一CSV格式解决上述问题。加工前数据说明 原始数据来自CMU发布的YCB-Slide数据集（MidasTouch，CoRL 2022，MIT协议），含10种YCB标准物体×5条轨迹的DIGIT传感器数据。原始文件为synced_data.npy，内含timestamps（时间戳列表）、digit_frames（图像路径列表）和poses（位姿字典，值为(N,7)数组，每行x,y,z,qx,qy,qz,qw），及JPEG触觉图像帧。各序列分散存储，无统一索引。 处理规则 通过TLabel的YCB-Slide适配器执行标准化处理： 1、数据解析：逐序列读取synced_data.npy，提取timestamps和poses中DIGIT传感器位姿及物体位姿，生成seq_id（序列标识，如004_sugar_box_dataset0）、object_name（物体名称）和dataset_id（轨迹编号0-4）。 2、位姿映射：将传感器位姿逐帧拆解为sensor_px/py/pz（传感器位置XYZ，米）和sensor_qx/qy/qz/qw（传感器朝向四元数）；物体位姿同理映射为object_px/py/pz（物体位置XYZ，米）和object_qx/qy/qz/qw（物体朝向四元数）。 3、时间戳对齐：逐帧写入timestamp（时间戳，秒），生成frame_index（帧序号，从0递增），校验时间戳、位姿与图像帧数一致。 4、元数据标注：写入split（数据类型，值为real_world）、sensor（传感器名称，值为DIGIT），将图像相对路径拼接为绝对路径写入image_path（触觉图像路径）。 5、导出：校验全部22字段完整性后导出UTF-8编码CSV。本数据集不涉及个人数据和公共数据，无需匿名化处理。 数据结构 共22字段：seq_id(序列标识)、object_name(物体名称)、dataset_id(轨迹编号)、split(数据类型)、sensor(传感器名称)、frame_index(帧序号)、timestamp(时间戳)、sensor_px/py/pz(传感器位置XYZ)、sensor_qx~qw(传感器朝向四元数)、object_px/py/pz(物体位置XYZ)、object_qx~qw(物体朝向四元数)、image_path(触觉图像路径)。共182,983行数据。

搜集汇总

背景与挑战

背景概述

该数据集面向具身智能中机器人滑动触觉感知与精细操作，基于DIGIT视觉触觉传感器数据开展物体六自由度位姿估计，覆盖10种YCB物体、每物体5条轨迹，共50个序列、182,983帧，每帧包含触觉图像路径及传感器与物体的三维位置和四元数朝向标注。数据源自CMU YCB-Slide并经TLabel标准化为22字段统一CSV格式，可用于训练端到端位姿估计模型、跨物体跨轨迹泛化操作策略，并为触觉感知提供统一评测基准，以缓解数据格式碎片化、高质量标注稀缺和异构数据缺乏结构化索引等问题。