PsiBotAI/SynData

SynData是由PsiBot新发布的下一代大规模真实世界多模态数据集。它全面覆盖了视觉、语言和动作等关键维度，并提供高度真实、高密度、高可用性的人类数据，为具身智能训练奠定了坚实基础。该数据集基于PsiBot自主研发的专为数据收集设计的外骨骼手套系统，实现了高达毫米级的定位精度，并捕捉了双手和手臂的全部自由度，同时保留了真实世界任务中操作者的自然行为。值得注意的是，SynData既包含基于外骨骼的数据，也包含裸手数据，结合了高精度结构化捕捉与自然人类交互行为，为具身模型提供了更丰富、更全面的学习样本。基于这种紧密集成的硬件-软件数据收集流程，SynData显著提高了数据的一致性、可重用性和泛化价值，并进一步加速了具身智能从实验室研究到真实工业部署的过渡。本版本专为视觉-动作建模、操作学习、模仿学习和多模态具身智能研究而设计。SynData is a next-generation large-scale real-world multimodal dataset newly released by PsiBot. It comprehensively covers key dimensions including vision, language, and action, and provides highly realistic, high-density, and highly usable human data as a solid foundation for embodied intelligence training. Powered by PsiBots self-developed exoskeleton glove system designed specifically for data collection, SynData achieves up to millimeter-level positioning accuracy and captures the full degrees of freedom of both hands and arms, while preserving natural operator behavior during real-world tasks. Notably, SynData includes both exoskeleton-based data and bare-hand data, combining high-precision structured capture with natural human interaction behavior to provide richer and more comprehensive learning samples for embodied models. Built on this tightly integrated hardware-software data collection pipeline, SynData significantly improves data consistency, reusability, and generalization value, and further accelerates the transition of embodied intelligence from laboratory research to real industrial deployment. This release is designed for vision-action modeling, manipulation learning, imitation learning, and multimodal embodied intelligence research.

搜集汇总

数据集介绍

构建方式

SynData是由PsiBot基于自研外骨骼手套系统构建的新一代大规模真实世界多模态数据集。该系统专为数据采集设计，实现了毫米级定位精度，完整捕捉双手及手臂的全自由度运动，同时保留操作者在真实任务中的自然行为。数据集涵盖外骨骼手套数据和裸手数据，将高精度结构化捕捉与自然交互行为有机结合，为具身模型提供更丰富全面的学习样本。数据以剪辑片段为单位组织，存储为Zarr压缩卷，每个子集包含清单文件、任务元数据、片段索引、注释文件及压缩卷包，通过外骨骼手套系统与软件流水线的紧密集成，显著提升了数据的一致性、复用性与泛化价值。

使用方法

使用SynData需通过Hugging Face Hub CLI下载元数据与压缩卷包，选择特定子集或任务按需获取。数据集以Zarr v3格式存储，解压.tar归档后直接使用Zarr库读取。示例代码展示如何加载片段索引、解压卷归档，并通过start_idx与end_idx切片获取指定帧范围的RGB与深度数据。每个子集的manifest.json提供任务与模态摘要，task.json映射任务标识与可读名称，clips.parquet索引文件记录片段标识、卷路径及帧范围，clip_annotations与clip_steps文件分别提供片段级和步骤级语言注释。该数据集遵循CC BY 4.0许可协议，适用于视觉-动作建模、操作学习、模仿学习及多模态具身智能研究。

背景与挑战

背景概述

SynData是由PsiBot团队于2026年发布的新一代大规模真实世界多模态数据集，旨在为具身智能研究提供坚实基础。该数据集以视觉、语言和动作三大维度为核心，依托自研外骨骼手套系统实现毫米级定位精度，完整捕捉双手及手臂的全自由度动作，并创新性地融合了外骨骼高精度数据与裸手自然行为数据。其研究问题聚焦于视-动建模、操作学习与模仿学习，通过高度真实、高密度的操作数据，有力推动具身智能从实验室研究向真实工业部署的跨越，为多模态具身模型训练开辟了新范式。

当前挑战

SynData核心挑战在于解决具身智能领域数据获取的三大难题：其一，真实世界操作任务中高精度动作捕捉与自然行为保留的矛盾，传统系统常牺牲自然性换取精度；其二，多模态异构数据（RGB、深度、姿态、触觉等）在10FPS统一时间轴上的严格对齐与语义一致性保障；其三，海量数据（如31万+第一人称片段）的高效存储与索引，采用Zarr格式分布式压缩需平衡I/O性能与随机访问需求。构建过程中，团队攻克了外骨骼手套的硬件-软件协同采集管道，并整合了背景替换与触觉信号等增强模态，显著提升了数据复用性与泛化价值。

常用场景

经典使用场景

SynData作为下一代大规模真实世界多模态数据集，在具身智能领域开辟了崭新的研究范式。该数据集深度整合视觉、语言与动作三大核心维度，通过自研外骨骼手套系统实现了毫米级定位精度，同时保留了裸手数据的自然交互特征。研究者可借助其提供的10FPS统一时间轴和跨模态对齐框架，轻松提取包括RGB深度图像、头部位姿、腕部姿态、30维手指关节状态及指尖关键点在内的丰富模态信息。在模仿学习与操作学习任务中，该数据集为构建从感知到动作的端到端模型提供了高保真训练样本，尤其适合需要精细手部动作解构的复杂装配、工具操控等场景。

解决学术问题

长期困扰具身智能研究领域的核心难题在于缺乏兼具高精度与自然性的多模态真实数据。传统数据集往往在捕获精度与行为自然度间难以两全，且受限于实验室环境，难以支撑模型向真实工业场景迁移。SynData通过双轨数据采集策略——同时提供外骨骼手套的结构化高精度数据与裸手自然交互数据，系统性解决了这一矛盾。该数据集为位姿估计、手部运动学建模、人机协作行为分析等基础研究提供了大规模标注基准，其包含的触觉信号子集更开创了多模态感知研究的新维度。在任务泛化性方面，313,674段自我中心视角的视觉片段为场景理解与语义导航研究注入了海量真实素材。

实际应用

在产业落地层面，SynData展现出从实验室原型到工业部署的桥梁价值。其高密度人体运动数据可直接服务于遥操作机器人系统的控制算法优化，使操作员通过外骨骼手套能更自然、精准地远程操控机械臂完成精密作业。在家政服务场景中，基于该数据集训练的模仿学习模型可习得拧瓶盖、叠衣物等复杂生活技能。在危险环境救援领域，结合触觉传感数据训练的模型能通过力反馈信息智能调整抓取策略，避免易碎物品损坏。汽车制造产线的柔性装配、手术机器人的精细操作控制等专业应用同样能从其亿级帧率的动作模态中获益，加速具身智能系统从仿真环境到真实场景的零样本迁移。

数据集最近研究

最新研究方向

SynData数据集为具身智能领域的前沿研究注入了全新动力，其大规模真实世界多模态数据特性正推动视-动建模、操控学习与模仿学习进入新阶段。当前研究热点聚焦于利用该数据集破解机器人灵巧操作中的闭环控制难题——通过融合高精度外骨骼手套与裸手操作数据，结合毫米级空间定位及全自由度手部姿态捕捉，使模型得以在复杂任务中习得更为自然且泛化性强的动作策略。此外，触觉信号的引入为多模态感知与物理交互的协同研究开辟了新路径，助力具身智能从实验室仿真向工业场景的稳健落地，对推动人机协作、智能制造等实际应用具有深远意义。