yxma/tactile-video-pretrain

Tactile Video Pretrain（触觉视频预训练）数据集包含约30小时的GelSight-style触觉视频，并与手腕安装的场景RGB视频配对。每一行数据代表一次完整的接触丰富机器人操作演示，时长约6至20秒，帧率为30 FPS。数据集提供两种配置：tactile_only配置每行包含一个触觉手指视频，适用于触觉自监督预训练（如视频MAE、V-JEPA、对比学习或掩码学习）；tactile_rgb配置每行包含配对的触觉视频和手腕RGB视频，适用于跨模态对齐（如CLIP-style对比学习或掩码跨模态学习）。数据集包含11,967行tactile_only数据和11,965行tactile_rgb数据，总计触觉视频时长29.71小时，场景视频时长15.70小时。数据来源于46个任务，共6,338次演示，视频分辨率为640×480，格式为MP4，总帧数达3,208,954帧。数据集还包含每帧的机器人状态轨迹（如工具中心点位置、方向、夹爪距离等），适用于机器人学、视频分类和特征提取等任务。

The Tactile Video Pretrain Dataset contains approximately 30 hours of GelSight-style tactile videos paired with wrist-mounted scene RGB videos. Each data entry represents a complete contact-rich robotic manipulation demonstration, lasting 6 to 20 seconds with a frame rate of 30 FPS. The dataset offers two configurations: the tactile_only configuration, where each entry contains a single tactile finger video, designed for tactile self-supervised pretraining tasks such as Video MAE, V-JEPA, contrastive learning, or masked learning; and the tactile_rgb configuration, where each entry contains paired tactile videos and wrist RGB videos, suitable for cross-modal alignment tasks including CLIP-style contrastive learning or masked cross-modal learning. The dataset includes 11,967 tactile_only entries and 11,965 tactile_rgb entries, with a total tactile video duration of 29.71 hours and a total scene video duration of 15.70 hours. The data is collected from 46 distinct tasks, totaling 6,338 demonstrations, with videos recorded at 640×480 resolution in MP4 format, amounting to a total of 3,208,954 frames. The dataset also provides per-frame robotic state trajectories, such as tool center point (TCP) position, orientation, gripper distance, and other relevant states, which is applicable to research areas including robotics, video classification, and feature extraction.

搜集汇总

数据集介绍

构建方式

本数据集基于FreeTacMan公开数据精心构建，汇集了约30小时的GelSight触觉视频与腕部RGB视觉信息。数据处理流程未对原始视频进行二次编码，仅统一重命名摄像流，将三相机任务中的camera1、camera2、camera3分别映射为tactile_left、tactile_right、scene，将二相机任务中的Camera1与Camera2对应为tactile_left与scene。同时将轨迹CSV封装为嵌套的Parquet结构字段，并添加clip_id以支持跨配置锚定。经布局扁平化处理，所有MP4文件共享同一videos文件夹，避免磁盘冗余存储。数据集提供tactile_only与tactile_rgb两种配置，分别适配纯触觉与跨模态自监督学习。

特点

数据集涵盖46种接触丰富操作任务，包含6,338条演示，共计约11,967条视频记录。视频分辨率统一为640×480，帧率恒定为30 FPS，单条演示时长介于6至20秒之间，平均8.9秒，累计帧数超过320万。每条记录均附带对齐的机器人轨迹数据，包括TCP位置、欧拉角、四元数及夹爪开度等8维状态信息，帧级同步时间戳确保时序精确。tactile_only配置专注于触觉单模态预训练，tactile_rgb则提供触觉与场景RGB配对视频，适用于跨模态对比学习。数据来源清晰标注，便于按需过滤。

使用方法

用户可通过HuggingFace Datasets库便捷加载，使用load_dataset函数并指定配置名称与split参数即可获取迭代器。视频路径以repo相对路径存储，需配合snapshot_download工具下载完整数据后方可访问本地文件。推荐应用场景包括：基于tactile_only进行视频MAE、V-JEPA等纯触觉自监督预训练；基于tactile_rgb开展触觉与场景模态的CLIP风格对比学习；或利用已对齐的轨迹结构作为辅助回归目标实现动作条件预训练。轨迹字段直接提供30 Hz频率的TCP位姿与夹爪状态，便于下游策略微调。

背景与挑战

背景概述

触觉感知在机器人精细操作中扮演着不可替代的角色，然而大规模、高质量的触觉视频数据稀缺，严重制约了自监督预训练方法的性能。Tactile Video Pretrain数据集由上海交通大学、清华大学等机构的研究人员于2025年创建，核心研究问题在于为接触丰富的机器人操作任务提供标准化的触觉视频预训练基准。该数据集基于FreeTacMan框架，汇集了超过6,000段演示、近30小时的GelSight风格触觉视频，并同步记录腕部RGB场景以及完整的机器人轨迹状态，显著推动了触觉视频自监督学习、跨模态对比学习与机器人操作策略预训练等领域的发展。

当前挑战

该数据集面临的挑战主要集中在领域问题与构建过程两个层面。在领域问题上，触觉传感器的物理接触特性导致感知维度高于视觉，现有预训练方法难以捕获接触动力学中的时空细粒度模式；同时，触觉与视觉模态间的异构性为跨模态对齐带来了根本性障碍。在构建过程中，多源数据集的引入面临命名规范不统一、多相机任务视觉流的不同步问题，FreeTacMan的46个任务中相机配置差异显著，需通过重命名与轨迹包装实现结构化对齐，且某些来源（如AgiBot World）尽管声称具备触觉传感器，但实际发布版本缺失触觉视频流，进一步增加了数据集构建的筛选与验证难度。

常用场景

经典使用场景

触觉视频预训练数据集（Tactile Video Pretrain）在机器人学习领域被视为一项珍贵的资源，其核心用途在于为基于GelSight风格的触觉视频提供大规模自监督预训练基础。该数据集汇聚了近12,000条接触丰富型操作演示视频，每条视频时长介于6至20秒之间，分辨率为640×480，帧率达30 FPS，累计触觉视频时长约30小时。研究者可借助其"tactile_only"配置，利用视频掩码自编码器（Video MAE）、V-JEPA、TimeSformer等架构，在纯净的触觉视频流上进行表征学习，从而捕捉接触力、纹理及材料变形等细微触觉特征。该数据集更提供了"tactile_rgb"配对版本，使触觉与腕部RGB场景视频在同一时间轴内对齐，适用于跨模态对比学习、掩码重建或CLIP风格的对齐任务，为触觉与视觉信息的融合提供了完美的实验场。

解决学术问题

该数据集的问世，直指机器人触觉感知领域长期面临的资源匮乏困境，系统性地解决了触觉数据规模小、多样性低、标注成本高昂等核心学术瓶颈。传统触觉数据集多局限于静态压印或单一物体，难以支撑深度学习模型的泛化需求；而"Tactile Video Pretrain"通过收录46种接触丰富型操作任务、6,338个完整演示，覆盖了抓取、按压、滑动、分类等多元交互范式，为触觉表征学习提供了前所未有的多样性与时间分辨率。研究者可借助其内嵌的8维TCP轨迹与夹爪开合数据，直接开展动作条件式预训练或下游策略微调，避免了繁复的数据同步与标注流程。这一突破极大推动了触觉感知在缺乏大规模标签环境下的迁移学习研究，为自治机器人在非结构化场景中的精细操作奠定了数据基础，对机器人学、触觉传感及多模态学习领域产生了深远影响。

衍生相关工作

"Tactile Video Pretrain"数据集的发布，催生了一系列具有里程碑意义的衍生研究工作，成为触觉表征学习领域的重要基石。自其上游数据源FreeTacMan公开以来，研究者已利用该数据集开展触觉视频掩码建模、跨模态对比学习、以及动作条件式预训练等多类前沿课题。例如，基于Video MAE架构的触觉视频预训练模型，在接触滑动检测和物体材质分类等下游任务上取得了指标突破；V-JEPA风格的联合嵌入预测方法，利用该数据的时间连续性实现了对未标注触觉流的零样本理解。此外，CLIP对齐技术被成功应用于触觉与场景RGB的双流网络，使得机器人在缺少触觉传感器时能经由视觉反馈推断接触状态。该数据集还启发了"触觉基础模型"概念的形成，推动了多源GelSight风格数据的统一训练范式，后续研究正积极扩展至Touch and Go、VisGel等更多数据源，致力于构建真正通用、可迁移的触觉感知预训练体系。