hcisbmm/bimanual-yam-tactile-vision-demo

该数据集是一个与机器人技术相关的数据集，具体涉及双手机器人操作任务。数据集包含动作数据、观测状态数据、图像数据（顶部、左侧、右侧视角）以及触觉数据。数据集的结构信息详细描述了各个特征的数据类型、形状和名称。此外，数据集还包含视频文件，帧率为30fps，视频分辨率为480x640。数据集的总大小为300MB（数据文件100MB，视频文件200MB），包含2个episodes和1406帧数据。

This dataset is related to robotics technology, specifically involving bimanual robot manipulation tasks. The dataset includes action data, observation state data, image data (top, left, right views), and tactile data. The dataset structure details the data types, shapes, and names of each feature. Additionally, the dataset contains video files with a frame rate of 30fps and a resolution of 480x640. The total size of the dataset is 300MB (100MB for data files and 200MB for video files), containing 2 episodes and 1406 frames.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专为双机械臂遥操作与触觉视觉融合研究设计。数据采集通过双机械臂（bi_yam_follower）的示范操作完成，共包含2个完整任务片段（episodes），累计1406帧数据，以30帧/秒的帧率记录。数据集以Parquet格式存储结构化数据，视频流则采用HEVC编码的MP4格式，分别存放于data与videos目录下，并划分为统一的训练集。每帧数据通过索引、时间戳及任务标签实现高效关联，支持流式加载与回放。

使用方法

用户可直接通过LeRobot库加载数据集，使用`lerobot.Dataset`接口按片段或帧索引访问多模态数据。训练时，可将`observation.state`、`observation.images.*`及`observation.tactile.*`作为输入特征，`action`作为预测目标，构建模仿学习或强化学习模型。数据集支持自定义拆分与批量处理，视频数据已预编码为HEVC格式以降低存储开销，配合HuggingFace的在线可视化工具可实时浏览示例片段，适用于机器人操控策略的快速原型验证。

背景与挑战

背景概述

bimanual-yam-tactile-vision-demo数据集由Hugging Face社区基于LeRobot框架创建，聚焦于双臂机器人操作领域的多模态感知与学习。该数据集于2024年左右发布，旨在为机器人学习研究提供包含视觉与触觉信息的同步双机械臂操作数据。其核心研究问题是如何融合视觉图像与触觉传感信号，提升机器人执行精细操作（如柔性物体抓取）的能力。作为开放基准，该数据集以Apache-2.0许可发布，为模仿学习、迁移学习等方向提供了标准化实验平台，尤其在双臂协调场景中展示了触觉信息对鲁棒控制的关键作用。尽管规模较小（仅含2个episode），但其明确的模态结构（顶部、左、右三视角视频及48维触觉特征）为多模态融合研究奠定了数据基础。

当前挑战

该数据集主要迎接双重挑战。首先，在领域问题层面，机器人精细操作长期受困于视觉遮挡与接触状态模糊性，传统仅依赖视觉的方法难以完成如易变形物体分拣等任务。数据集通过同步记录14维关节角动作、三视角图像（640×480分辨率）及高维触觉信号（48维指端触觉读数），尝试解决多模态感知中异构数据的时空对齐难题，尤其需突破触觉信号与视觉流在30fps采样下的动态融合瓶颈。其次，构建过程中面临硬件同步与数据质量问题：双臂机器人协同采集需精密校准16个自由度（含双手6轴关节及夹爪）的时延，而触觉传感器的窄带宽噪声与视频编码（HEVC）带来的压缩伪影可能引入感知失真。此外，小样本规模（1406帧）也加剧了模型过拟合风险，亟需后续扩展数据多样性。

常用场景

经典使用场景

在机器人学习与灵巧操作领域，bimanual-yam-tactile-vision-demo数据集为研究双臂协同操作与多模态感知融合提供了宝贵的实验数据。该数据集记录了双臂机器人执行特定任务时的关节状态、视觉图像与触觉传感信息，经典使用场景聚焦于模仿学习与行为克隆，研究者可利用其中的动作序列与观测状态训练神经网络，使机器人从人类演示中习得协调的双臂运动策略。

解决学术问题

该数据集针对的核心学术问题在于如何实现机器人双臂在非结构化环境下的精细操作。传统方法受限于单一视觉反馈或刚性控制逻辑，难以应对接触力调控与动态适应性。通过提供同步的触觉与视觉数据，它支持研究多模态信息融合机制，探索触觉反馈对操作稳定性的增强作用，推动了对柔性抓取、双手协同装配等复杂行为的建模与理解，显著提升了机器人操作在现实场景中的鲁棒性。

实际应用

在实际应用层面，该数据集为工业装配、医疗辅助及家庭服务机器人双臂协作任务的开发提供了训练基础。例如，在精密零件组装场景中，机器人可借助触觉与视觉的联合感知调整夹持力度与姿态；在医疗手术辅助中，双臂机器人能依据触觉信息安全操控器械。此外，其标准化的数据格式与LeRobot框架深度兼容，加速了从仿真到真实机器人的技能迁移。

数据集最近研究

最新研究方向

在机器人操作领域，多模态感知与灵巧操作已成为推动具身智能发展的核心议题。bimanual-yam-tactile-vision-demo数据集聚焦于双臂协作场景，通过融合视觉与触觉传感数据，为研究精细操作任务提供了关键资源。当前前沿方向集中于利用模仿学习与强化学习框架，从高维动作空间与多模态观测中提取鲁棒策略，尤其关注双手协同的力位混合控制与触觉反馈的闭环调节。该数据集的发布顺应了LeRobot生态对标准化机器人演示数据的需求，其包含的双臂关节序列、多视角视频及指尖触觉信号，为探索人机交互中的柔顺操作、自适应抓取等热点问题奠定了基础，在推动机器人从仿真迁移至真实世界的过程中具有显著学术与工程价值。