sotac

Hugging Face2026-08-24 更新2026-08-25 收录

感知操作

机器人学习

数据链接：

https://huggingface.co/datasets/Jingyi-Z/sotac 数据链接链接失效反馈

官方服务：

资源简介：

SoTac（SO-101 触觉操作语料库）是一个不断增长的视觉-触觉遥操作演示数据集，使用配备双三轴触觉指尖传感器的 SO-101 机械臂采集。数据集以 30 Hz 频率记录，每个观测包含完整的指尖力映射（每指 52 个触觉单元，3 轴力），同时每个 episode 附带原始约 91 Hz 的触觉流旁路文件，确保记录时无降采样。当前版本（2026-08-24）包含 77 个 episode、42,684 帧（约 24 分钟），涵盖 3 个拾取-放置任务：红色泡沫球放入容器、橙色橡胶球放入容器、红色杯子放在容器顶部。抓取力范围从轻柔（约 4-10 N 峰值）到强力（约 50 N 峰值）。数据采集者包括 Jingming Zhang、Yuzhou Wang、Jingyi Zou。硬件：SO-101 从臂（由主臂遥操作）；相机：腕部 + 顶部，640×480@30 fps（MJPG）；触觉：2× Paxini PX-6AX GEN3 指尖垫，共享高速通信板，每垫 52 个触觉单元，每单元 3 轴力，0.1 N/LSB，有效速率约 91 Hz。数据格式为标准 LeRobot v3.0 数据集，额外包含 observation.sensors.paxini_fingertip 特征（形状 (2,52,3) 的 float32 数组，表示每指最新触觉样本）和 sensors/paxini_fingertip/episode_XXXXXX/ 目录下的原始约 91 Hz 流 CSV 文件及对齐 JSON。数据集结构如 meta/info.json 所示，包含动作、状态、图像（腕部、顶部）、触觉传感器、时间戳、帧索引等字段。总 episode 数 77，总帧数 42,684，总任务数 3。数据集遵循 Apache-2.0 许可证，适用于机器人操作、触觉感知、模仿学习等研究。

SoTac (SO-101 Tactile Operation Corpus) is a growing dataset of visual-tactile teleoperation demonstrations, collected using a SO-101 robotic arm equipped with dual three-axis tactile fingertip sensors. The dataset is recorded at 30 Hz, with each observation containing full fingertip force maps (52 tactile units per finger, 3-axis force), and each episode is accompanied by raw tactile stream files at approximately 91 Hz to ensure no downsampling during recording. The current version (2026-08-24) includes 77 episodes, 42,684 frames (about 24 minutes), covering 3 pick-and-place tasks: placing a red foam ball into a container, placing an orange rubber ball into a container, and placing a red cup on top of a container. Grip force ranges from gentle (approximately 4-10 N peak) to strong (approximately 50 N peak). Data collectors include Jingming Zhang, Yuzhou Wang, and Jingyi Zou. Hardware: SO-101 slave arm (teleoperated by master arm); cameras: wrist + top, 640×480@30 fps (MJPG); tactile: 2× Paxini PX-6AX GEN3 fingertip pads with shared high-speed communication board, each pad has 52 tactile units, each unit measures 3-axis force, 0.1 N/LSB, effective rate about 91 Hz. Data format is standard LeRobot v3.0 dataset, with additional observation.sensors.paxini_fingertip feature (float32 array of shape (2,52,3) representing the latest tactile sample per finger) and raw stream CSV files and alignment JSON in sensors/paxini_fingertip/episode_XXXXXX/ directory. Dataset structure is shown in meta/info.json, including action, state, images (wrist, top), tactile sensors, timestamps, frame indices, etc. Total episodes: 77, total frames: 42,684, total tasks: 3. The dataset is licensed under Apache-2.0 and is suitable for research in robot manipulation, tactile perception, imitation learning, etc.

创建时间：

2026-08-19

原始信息汇总

SoTac 数据集概述

SoTac (SO-101 Tactile Manipulation Corpus) 是一个视觉-触觉遥操作演示数据集，使用配备双三轴触觉指尖传感器的 SO-101 机械臂收集。该数据集由 LeRobot 及其传感器分支 lerobotac 创建，遵循 Apache-2.0 许可证，规模为 10K-100K 样本（约 77 个 episode，42,684 帧，约 24 分钟）。

数据集内容

当前版本（2026-08-24）包含 3 个拾取-放置任务：
- 拾取红色泡沫球放入容器（25 episodes）
- 拾取橙色橡胶球放入容器（32 episodes）
- 拾取红色杯子置于容器顶部（20 episodes）
抓取力范围覆盖轻柔（约 4-10 N 峰值）到稳固（约 50 N 峰值）
数据由多位操作者收集，物体放置位置在不同 episode 间变化

硬件配置

机器人：SO-101 从臂（遥操作跟随），SO-101 主臂用于遥操作
相机：腕部 + 顶部相机，640×480 @ 30 fps（MJPG）
触觉传感器：2× Paxini PX-6AX GEN3 指尖垫，每垫 52 个 taxel（感应单元），每个 taxel 提供三轴力数据，分辨率 0.1 N/LSB，双垫合并有效采样率约 91 Hz

数据格式

采用标准 LeRobot v3.0 数据集格式，并包含一项额外特征和一个额外目录：

observation.sensors.paxini_fingertip：每个 30 Hz 观测中每根手指最新原始触觉样本，形状为 (2, 52, 3)（手指 × taxel × [fx, fy, fz]），单位为 0.1 N
sensors/paxini_fingertip/episode_XXXXXX/：原始约 91 Hz 触觉流侧车文件：
- sensor_1.csv、sensor_2.csv：每个文件 163 列（时间戳、状态及 52 个 taxel 的三轴力数据）
- alignment.json：记录 episode 起始时间，用于将原始流与 30 Hz 主表的 frame 0 对齐

数据采集协议

Episode 从夹爪张开、触觉垫无接触开始（作为校准参考）
操作员和主臂保持在两个相机视野之外
物体放置位置在 episodes 间变化

工具支持

录制：lerobotac（hall-sensor 分支）—— LeRobot 的传感器框架分支
传感器 SDK：paxini-sdk
可视化/标注：LeRobotAC Dataset Visualizer（可渲染每 taxel 的 3D 力箭头、接触时间线和原始 91 Hz 流；标准 LeRobot 查看器不渲染触觉数据）

数据集结构

meta/info.json 定义了特征，包括 6 维动作/状态（关节位置 + 夹爪位置）、两个视频流（腕部/顶部，AV1 编码），以及触觉传感器特征
数据集划分为单一训练集（0:77），共 3 个任务，数据文件约 100 MB，视频文件约 200 MB

引用

如需引用此数据集，请引用 Zou, Jingyi 的 SoTac 论文（详情见 README 的 Citation 部分）。

搜集汇总

数据集介绍

构建方式

SoTac数据集是基于SO-101机械臂与双三轴触觉指尖传感器构建的视觉-触觉遥操作演示语料库。数据采集采用LeRobot框架及其传感器分支lerobotac，通过主从臂遥操作方式记录抓取与放置任务。每个30Hz观测帧均包含完整双指尖逐taxel力映射，同时以旁路形式保存原始约91Hz触觉流，确保记录时无降采样。数据集当前涵盖77个回合，涉及三种拾取-放置任务，力范围从温和（峰值约4-10N）到牢固（峰值约50N），并由三位操作者分别采集，物体位置在回合间有所变化，以增强多样性。

特点

SoTac的核心特色在于高保真触觉数据与视觉数据的同步融合。每个观测包含双摄像头（腕部与顶部）640x480@30fps视频，以及形状为(2,52,3)的Paxini PX-6AX GEN3指尖传感器数据，提供52个taxel的三轴力信息（0.1N分辨率）。原始91Hz触觉流以CSV格式旁路存储，确保时间分辨率无损。数据集遵循LeRobot v3.0格式，并附带对齐元数据，便于精准的时间同步研究。此外，数据覆盖从轻柔到有力的多种抓取力度，适用于触觉感知与操控策略研究。

使用方法

SoTac可直接通过HuggingFace datasets库加载，采用标准LeRobot v3.0格式，包含action、observation.state、双摄像头图像、触觉传感器数据及时间戳等字段。用户可结合LeRobot框架进行模仿学习或强化学习训练。额外的91Hz原始触觉流位于sensors/paxini_fingertip目录，可用于高频触觉分析。推荐使用LeRobotAC可视化器查看每个taxel的3D力箭头和接触时间线，该工具专为触觉数据设计。数据集已按训练集划分（train:0-77），便于直接用于模型评估。

背景与挑战

背景概述

触觉感知在机器人精细操作中扮演着不可或缺的角色，然而现有公开数据集往往受限于低分辨率触觉信号或缺失同步的视觉信息，制约了多模态学习与泛化能力的发展。SoTac数据集由Jingyi Zou等研究人员于2026年创建，依托SO-101机械臂与Paxini PX-6AX GEN3触觉指尖传感器，采集了77段远程操作演示，涵盖三种拾取与放置任务，并提供30Hz的视觉-触觉同步观测与91Hz的原始触觉流。该数据集的核心贡献在于首次系统性整合了每触觉元三轴力分布与原始高频序列，为触觉-视觉融合策略学习、触觉表征研究及机器人操作泛化提供了基准性资源，推动了具身智能领域对高保真触觉数据的探索。

当前挑战

SoTac数据集所解决的领域挑战在于触觉-视觉跨模态学习的复杂性，例如在机器人操作中，触觉信号的稀疏性与视觉遮挡问题导致传统基于单一模态的模型难以精确感知物体状态，而该数据集通过提供同步的多模态数据促进了鲁棒策略的构建。构建过程中亦面临显著技术障碍：其一，需在30Hz主观测频率与91Hz触觉流之间建立精确的时间校准，以避免模态错位；其二，不同操作者（如Jingming Zhang、Yuzhou Wang、Jingyi Zou）的操作风格差异导致力控范围跨度大（峰值4至50N），需保证数据的一致性与可重复性；其三，原始CSV侧车文件包含每帧163列的高维数据，存储与处理成本高昂，需设计高效的数据压缩与索引方案以维持数据集的可用性。

常用场景

经典使用场景

SoTac数据集是面向仿人机器人精细操作研究的宝贵资源，其核心用途在于提供同步的视觉-触觉遥操作演示数据。该数据集包含77个拾放任务片段，每个片段以30Hz频率记录双指指尖52个taxel的三轴力分布，并以旁路方式保存原始91Hz触觉流，为研究触觉感知与操作控制提供了高保真的对齐数据。研究者可据此开展多模态学习、推动策略泛化、探索触觉反馈在物体抓取稳定性中的作用，以及验证触觉信息对操作技能习得的增益效果。

衍生相关工作

SoTac数据集的发布催生了一系列后续研究。以其为基础的衍生工作包括：开发用于触觉序列预测的模型，以提前估计接触状态；构建视觉-触觉对比学习框架，提升表征学习效率；设计面向触觉流的领域随机化策略，增强模拟到现实的迁移能力。此外，该数据集促使研究者改进LeRobot系列工具，如扩展可视化器以支持三维力箭头渲染，并推动了高带宽触觉数据压缩与同步算法的优化。这些衍生工作不仅深化了触觉操作的研究，也验证了SoTac作为标准测试平台的价值，为机器人学习社区贡献了新的方法论与工具链。

数据集最近研究