hcisbmm/bimanual-yam-tactile-demo

该数据集是使用LeRobot创建的，与机器人技术相关。数据集包含机器人动作和观察的特征，如关节位置、夹持器位置、触觉传感器数据、时间戳和索引。数据集结构包括2个片段、1348帧、1个任务，数据文件大小为100MB，视频文件大小为200MB，帧率为30fps。数据集采用Apache 2.0许可证。

This dataset was created using LeRobot and is related to robotics. It contains features related to robotic actions and observations, including joint positions, gripper positions, tactile sensor data, timestamps, and indices. The dataset structure includes 2 episodes, 1348 frames, 1 task, with data files size of 100MB and video files size of 200MB, at 30fps. The dataset is licensed under Apache 2.0.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，旨在服务于机器人学习领域的模仿学习与策略训练。数据采集自一台双机械臂操作平台（机器人类型为bi_yam_follower），通过遥操作或预设程序记录机器人在执行单一任务过程中的完整轨迹。数据集共包含2个独立回合（episodes），总计1348帧，以30帧/秒的采样频率捕捉。数据以Parquet格式存储，并按每1000帧为单位进行分块组织，辅以MP4视频文件记录视觉信息，实现了高效的结构化存储与检索。

特点

该数据集最显著的特点在于其多模态感知信息的整合。除了标准的14维动作与状态数据（涵盖左右双臂各6个关节位置及夹爪状态）外，还创新性地引入了来自右机械臂手指的48维触觉传感数据（observation.tactile.right_finger_r），为精细操作研究提供了关键的物理交互反馈。此外，数据集包含了时间戳、帧索引、回合索引等元数据，便于时序建模与数据对齐，是双机械臂触觉操作研究的重要资源。

使用方法

研究人员可通过LeRobot库直接加载此数据集，利用其内置的数据加载器（data loader）按批次获取action、observation.state及observation.tactile等关键字段。数据集已预设训练集（train split）覆盖全部两个回合，适用于离线模仿学习（如行为克隆）或强化学习环境构建。同时，HuggingFace平台提供了可视化空间（spaces），支持在线预览视频和时序数据，方便研究者快速评估数据质量，降低使用门槛。

背景与挑战

背景概述

该数据集创建于机器人学习领域快速发展之际，由研究机构基于LeRobot框架构建，专注于双机械臂协同操作场景。其核心研究问题在于如何通过多模态感知数据，尤其是触觉反馈，赋予机器人精细操作能力。数据集记录了双机械臂在示教模式下的关节位置、动作指令及右侧指尖触觉传感器信息，总帧数达1348帧，涵盖2个完整演示片段。作为开源数据集（Apache-2.0协议），它为触觉引导的双臂协作任务提供了标准化训练资源，对推动机器人从结构化环境向非结构化场景迁移具有重要价值，尤其适用于模仿学习与强化学习算法的验证与优化。

当前挑战

该数据集主要面临双重挑战。其一，领域问题层面，双臂协同操作涉及复杂的运动学与动力学耦合，传统视觉引导在精细装配或软体物体操控中精度不足，亟需融合触觉模态以提升力反馈可控性，而当前触觉数据的高维特性（48维向量）与低信噪比增加了特征提取难度。其二，构建过程中，数据采集依赖人工示教，样本规模受限（仅2段演示），且触觉传感器的标定与时间同步存在技术瓶颈；此外，双臂14维联合动作空间与稀疏触觉信号的关联建模，对序列学习算法的样本效率与泛化能力构成严峻考验。

常用场景

经典使用场景

在机器人学习与灵巧操作领域，双机械臂协作任务因其对运动协调与感知融合的高要求而成为研究难点。本数据集聚焦于双机械臂在触觉引导下的非刚性物体操作场景，通过同步采集14维关节角度动作指令与左右机械臂末端48维触觉传感信号，为模仿学习与强化学习提供了标准化的训练样本。研究人员可利用其包含的1348帧高时间分辨率轨迹数据，训练机器人完成如揉捏、抓取等需实时力反馈调节的精细化任务，是探索多模态感知驱动策略迁移的经典基准。

实际应用

在实际工业与社会服务场景中，该数据集的价值体现于需要触觉柔顺操作的领域。例如，食品加工行业中的面坯捏合、半导体封装中的精密元件插装，以及医疗康复领域中对柔性组织的手术模拟，均依赖双臂机器人根据触觉反馈动态调整夹持力与运动轨迹。目前已有研究基于此类数据优化机器人装配线的力位混合控制策略，并探索在养老陪护场景中，让机器人通过触觉感知实现安全的人机物品交接，有效规避刚性抓取对物体或人造成的损伤。

衍生相关工作

围绕该数据集的架构特性，学术界已衍生出多项标志性工作。LeRobot框架的提出者基于此类多模态数据格式开发了通用行为克隆流水线，实现了从仿真到真实环境的零样本迁移。后续工作如触觉感知注意力网络（Tactile-Transformer）将48维触觉信号编码为时空特征，与运动轨迹联合训练以提升长时程任务的成功率。另有研究者利用该数据集的关节空间表示，提出了双臂协同的隐式策略优化方法，在动态扰动下仍能保持高精度操作，这些工作共同构建了触觉-运动耦合学习的技术生态。