Xspark-HumanTouch

HumanTouch 是一个面向规模化人手触觉采集的多模态数据集，由 SparkLab@Xspark AI 出品。该数据集旨在通过同步采集触觉、手部姿态与视觉数据，支持机器人理解接触丰富的交互。数据采集系统包括双手柔性压阻触觉手套（每手 360 个有效点）、MANUS 电磁场手部跟踪（每手 25 关节）、6-DoF 手腕位姿跟踪，以及头部场景相机和双侧手腕相机，所有模态在统一的 60 Hz 参考时间线上同步。首版 v1 包含约 100 小时数据，涵盖 10 个规范任务（X001–X010）。数据集具备触觉辅助手部姿态标定、柔性手套标定与表示、以及 episode 级人工审核等质量保障措施。获取方式包括 Hugging Face 和 ModelScope 平台，许可以 ModelScope 仓库页标注为准。计划扩展至约 1,000 小时，并筹备 AIGC 版本。该数据集适用于机器人学习、触觉感知、手部交互理解等任务。HumanTouch is a multi-modal dataset for large-scale human hand tactile sensing, produced by SparkLab@Xspark AI. It aims to support robots in understanding contact-rich interactions by synchronously collecting tactile, hand pose, and visual data. The data acquisition system includes dual-hand flexible piezoresistive tactile gloves (360 effective points per hand), MANUS electromagnetic hand tracking (25 joints per hand), 6-DoF wrist pose tracking, as well as a head-mounted scene camera and two wrist cameras. All modalities are synchronized on a unified 60 Hz reference timeline. The first version v1 contains approximately 100 hours of data covering 10 standardized tasks (X001–X010). The dataset implements quality assurance measures including tactile-assisted hand pose calibration, flexible glove calibration and representation, and episode-level manual review. It is available on Hugging Face and ModelScope platforms, with licensing indicated on the ModelScope repository page. Plans include expansion to approximately 1,000 hours and preparation of an AIGC version. The dataset is suitable for tasks such as robot learning, tactile perception, and hand interaction understanding.

原始信息汇总

数据集概述

HumanTouch 是一个面向规模化人手触觉采集的多模态数据集。它通过双手柔性压阻触觉手套、MANUS 电磁场（EMF）手部跟踪、6-DoF 手腕位姿跟踪，以及头部场景相机 + 双侧手腕相机，在统一的 60 Hz 参考时间线上同步采集触觉、手部姿态与视觉数据。相比 OpenTouch、World In Your Hands、FreeTacMan、Touch in the Wild 等现有系统，HumanTouch 具备更完整的触觉覆盖、力校准（✓）、自然操作（✓）与多地部署（✓）能力。

关键数字

项目	数值
首版规模	约 100 小时（10 个规范任务 × 约 10 小时）
规范任务	10 个（X001–X010）
采样频率	60 Hz 统一时间线（全模态同步）

模态与同步

每个 episode 在同一时间线下包含以下模态：

模态	内容
触觉	双手柔性压阻触觉手套，每手 360 个有效点（手指 + 手掌）
手部姿态	MANUS 电磁场（EMF）跟踪，每手 25 关节
手腕位姿	6-DoF 手腕位姿跟踪
视觉	头部场景相机 + 双侧手腕相机

质量保障

• 触觉辅助手部姿态标定：利用拇指-指尖自接触约束，校正手指段长度与关节偏移，使数字手模型贴合真实手。
• 柔性手套标定与表示：以解剖学触觉块（patch）为单位估计接触置信度、响应分布与近似中心（相对响应，非物理力值），容忍织物滑移与姿态相关伪影。
• Episode 级人工审核：每个 episode 均经人工审核与任务完成度标注，仅质量达标者入选。

获取方式

• Hugging Face：https://huggingface.co/datasets/chuqiaoLyu/Xspark-HumanTouch （还在上传）
• ModelScope：https://www.modelscope.cn/datasets/chuqiaoLyu/Xspark-HumanTouch

发布路线图

版本	时间	内容
首版 v1	2026-08-15	约 100 小时子集（10 个规范任务）
扩展版	计划一个月内	扩展至约 1,000 小时
HumanTouch AIGC edition	筹备中	AIGC 版本数据集

许可

数据集许可以 ModelScope 仓库页标注的许可证为准。

引用

论文正式发表前的占位引用，请以最终发布版本为准：

bibtex @misc{humantouch2026, title = {HumanTouch: A Multimodal System for Scalable Human-Hand Tactile Acquisition}, author = {Chuqiao Lyu and Wenbo Ding and Tianxing Chen and Qi Xiong}, year = {2026}, note = {SparkLab@Xspark AI. 占位引用，待论文正式发表后更新} }

搜集汇总

数据集介绍

构建方式

HumanTouch数据集由SparkLab@Xspark AI构建，旨在实现规模化的人手触觉采集。其构建依托一套多模态同步采集系统，融合双手柔性压阻触觉手套、MANUS电磁场手部跟踪、6-DoF手腕位姿跟踪以及头部场景相机与双侧手腕相机，确保所有模态在统一的60 Hz参考时间线下实现精确对齐。首版规模约100小时，涵盖10个规范任务（X001–X010），每个任务约10小时。数据采集后，通过触觉辅助手部姿态标定，利用拇指-指尖自接触约束校正手指段长度与关节偏移，确保数字手模型与真实手高度吻合。柔性手套标定以解剖学触觉块为单位，估计接触置信度与响应分布，有效容忍织物滑移与姿态相关伪影。每个episode均经过人工审核与任务完成度标注，仅质量达标者纳入数据集，从而保障了数据的科学性与可靠性。

特点

HumanTouch数据集具备显著的多模态融合特性，每只手的触觉数据涵盖360个有效点，手部姿态包含25个关节，辅以6-DoF手腕位姿与多视角视觉信息，为触觉-运动联合研究提供了丰富维度。其突出特点在于完整的触觉覆盖、力校准能力、自然操作场景以及多地部署可能性，相较于OpenTouch、FreeTacMan等现有系统更具优势。数据集采用触觉辅助的姿态标定与柔性手套表示，以解剖学块为单位估计接触属性，提升了数据对真实物理交互的刻画精度。此外，episode级人工审核机制确保了数据质量，任务完成度标注使得数据可用于下游任务评估。这些特性使HumanTouch成为机器人接触丰富交互研究的有力支撑。

使用方法

使用HumanTouch数据集时，研究者可从Hugging Face或ModelScope平台下载数据，当前首版v1于2026年8月15日发布，约100小时规模。数据集以episode为基本单元，每个episode包含同步的触觉、手部姿态、手腕位姿及视觉多模态流，研究者可依据任务需求提取相应模态进行模型训练或评估。例如，触觉数据可用于学习接触力分布预测，手部姿态与视觉可结合进行动作生成，而多模态融合则可探索触觉-视觉-运动之间的隐式映射。数据集提供任务完成度标注，便于构建监督学习基准。未来扩展版将增至1000小时，并筹备AIGC版本，为更广泛的研究提供资源。引用时请使用提供的BibTeX格式，并遵循ModelScope仓库页标注的许可协议。

背景与挑战

背景概述

在机器人操作与具身智能领域，触觉感知是理解物理交互、实现灵巧操作的关键一环。然而，现有触觉数据集多局限于单一模态或受控环境，难以支撑复杂接触任务的建模。为突破这一瓶颈，Xspark AI 的 SparkLab 团队于 2026 年发布 HumanTouch 数据集，由项目负责人 Chuqiao Lyu 主导，联合 Wenbo Ding、Tianxing Chen 等研究人员共同构建。该数据集通过双手柔性压阻触觉手套、电磁场手部跟踪及多视角视觉系统，在统一 60 Hz 时间线下同步采集约 100 小时的高保真多模态数据，涵盖 10 个规范操作任务，旨在推动触觉驱动的机器人学习与多模态感知研究。其发布为触觉感知领域提供了大规模、力校准、自然操作的真实世界数据资源，对具身智能研究具有里程碑意义。

当前挑战

HumanTouch 数据集在构建与应用中面临多重挑战。领域层面，触觉数据的稀缺性与模态异质性长期制约机器人灵巧操作研究，现有数据集存在触觉覆盖不完整、缺乏力校准、场景受限等问题，难以支撑复杂接触任务的泛化。构建层面，跨模态数据同步要求高，需在 60 Hz 统一时间线精确对齐触觉、姿态与视觉信号，面临硬件标定与时间漂移困难；柔性手套的触觉块表示需容忍织物滑移与姿态相关伪影，同时通过触觉辅助标定校正手部模型精度。此外，数据质量保障依赖 episode 级人工审核，成本高昂，且扩展至千小时规模需平衡采集效率与标注准确性。这些挑战推动着采集系统、校准算法与数据表征的持续优化。

常用场景

经典使用场景

在具身智能与机器人操作研究领域，HumanTouch 数据集以其多模态同步采集能力，成为研究人类手部接触丰富交互的经典基准。研究者可借助该数据集训练和评估机器人操作模型，使其不仅模仿运动轨迹，更能理解物理世界对接触的响应。数据集提供了统一的60Hz时间线下触觉、手部姿态、手腕位姿及视觉数据，支持多模态融合学习，为开发手部操作策略、触觉感知模型以及人机协作系统提供了高质量的训练语料。

实际应用

在实际应用中，HumanTouch 数据集可服务于机器人技能学习、遥操作控制、虚拟现实交互以及智能假肢开发。例如，在机器人精细操作训练中，利用触觉数据增强触觉反馈，使机器人能够自适应抓取易碎或柔软物体；在遥操作系统中，触觉与视觉的融合使操作员获得更真实的临场感，提升操作效率。此外，该数据集还可用于开发手部康复评估工具和智能穿戴设备，为医疗康复与人机接口提供数据基础。

衍生相关工作

HumanTouch 数据集的出现有望催生一系列衍生研究工作，包括基于触觉的多模态大模型预训练、触觉-视觉对比学习框架、以及数据驱动的数字孪生手模型构建。其高质量注释与标准化采集协议为后续研究提供了可复现的基准，可能激发关于触觉超分辨率、跨模态检索、以及未知操作任务泛化等新课题。数据集的扩展版本和AIGC版本也预示着合成数据与真实数据融合的研究方向，推动触觉感知领域的快速发展。