stellarnexrobotics/FoldPlanet-500

FoldPlanet-500折叠星球数据集是一个专为具身智能人形机器人训练而设计的高质量、结构化、可学习的真实泛化场景叠衣动作数据集。它包含多角度、高分辨率、时序清晰的视频、图像序列，全身31节点动作捕捉数据，以及详尽化、步骤化、可量化的自然语言指令。数据集覆盖了多种常见衣物类型的专业级折叠流程，旨在帮助模型学习人类的行为逻辑、操作方式、物体交互特征以及任务理解能力。FoldPlanet-500 Fold Planet dataset is a high-quality, structured, and learnable real general scene clothing folding action dataset designed specifically for training embodied intelligence humanoid robots. It includes multi-angle, high-resolution, clear temporal video and image sequences, full-body 31-node motion capture data, as well as detailed, step-by-step, quantifiable natural language instructions. The dataset covers professional folding processes for a variety of common clothing types, aiming to help models learn about human behavior logic, operation methods, object interaction features, and task understanding capabilities.

搜集汇总

数据集介绍

构建方式

FoldPlanet-500数据集由上海星际硅途技术有限公司构建，专为具身智能人形机器人训练设计。数据来源于真实场景中人类执行衣物折叠任务的视频、动作捕捉及多模态信息。构建过程包括专业数采人员在泛化环境中执行标准化折叠流程，覆盖短袖、衬衫、长裤、裙子等常见衣物类型。采用全身31节点动作捕捉技术精准捕获人体关节运动轨迹，同时配备多角度高分辨率视频序列。每个任务均经严格标注与清洗，包含详尽自然语言指令，形成结构化、任务强关联的思维链（CoT）和视觉问答（VQA）数据，确保视觉、语言与动作精准对齐。所有数据通过统一ID关联，视频与动作捕捉帧对齐误差控制在±10ms内，并经交叉验证确保质量。

特点

该数据集核心特点在于其真实性与多模态融合。包含500小时以上高质量叠衣任务实例，覆盖不同衣物类型与折叠阶段，动作由专业人员执行验证，提供‘最佳实践’模板。多模态数据包括多视角高清视频、31节点动作捕捉数据及语义标注，三者通过唯一ID精准对齐，支持视觉-语言-动作联合学习。CoT和VQA数据经专业标注，具备强任务关联性，适配预训练、微调与评测多环节。数据采集与处理流程标准化，格式统一，极大降低研究者数据处理成本，为具身智能领域提供高质量、可学习的真实泛化场景训练资源。

使用方法

数据集结构清晰，包含CoT、VQA、video和Mocap四个模块。CoT模块提供思考推理数据及对应图像，VQA模块包含视觉问答数据与关键帧图像，均以.jsonl和.png格式存储。video模块存放多视角对齐视频，Mocap模块存储动作捕捉.bvh文件。所有数据通过会话ID关联，便于跨模态检索。研究者可直接加载视频与动作捕捉数据用于模仿学习，或利用CoT和VQA数据训练模型理解动作意图与任务规划。数据集适用于具身智能控制策略学习、多模态感知融合、操作意图识别及人机交互研究。商用授权或大规模访问需联系作者获取。

背景与挑战

背景概述

在具身智能与人形机器人领域，衣物折叠作为一项精细操作任务，长期面临动作复杂、物体变形大、环境非结构化等核心难题。FoldPlanet-500数据集由上海星际硅途技术有限公司于2025年10月发布，旨在解决机器人在真实泛化场景中学习人类叠衣行为逻辑与操作方式的迫切需求。该数据集汇聚了专业数采人员在多样化衣物类型（如衬衫、长裤、裙装等）上的完整折叠流程，融合多视角视频、全身31节点动作捕捉及结构化自然语言标注，为多模态模型提供了高精度、强对齐的训练资源。其发布标志着具身智能领域从模拟环境向真实世界数据生态的重要跨越，对推动机器人操作意图识别、动作模仿学习及任务理解能力的提升具有深远影响。

当前挑战

当前数据集面临的核心挑战包括：其一，衣物作为柔性物体，在折叠过程中形态高度可变，导致模型难以从视觉与动作数据中提取稳定的交互特征，亟需突破对非刚性物体操作泛化的学习瓶颈。其二，数据集构建过程中需确保多模态数据（视频、动作捕捉、语义标注）的时空精准对齐，尽管标注误差被控制在±10ms内，但真实场景下的光照、遮挡及衣物纹理差异仍给自动化对齐算法带来严峻考验。其三，现有500小时数据虽覆盖常见衣物类型，但面对更广泛的材质、尺寸及折叠风格，数据分布的稀疏性可能限制模型在极端工况下的鲁棒性，需探索高效的数据增强与迁移学习策略以弥补覆盖不足。

常用场景

经典使用场景

FoldPlanet-500数据集的核心应用在于为具身智能人形机器人提供衣物折叠这一精细操作任务的训练与评估基准。该数据集通过多视角高分辨率视频、全身31节点动作捕捉数据以及精细化的自然语言指令，构建了从视觉感知到动作执行的完整学习闭环。研究者可利用其多模态对齐特性，训练机器人模仿人类折叠衣物的动作轨迹与行为逻辑，尤其适用于行为克隆、逆强化学习以及基于视觉的模仿学习范式。数据集涵盖短袖、衬衫、长裤等多种常见衣物类型，并包含专业级折叠流程，使得模型能够在真实泛化场景中习得鲁棒且高效的操作策略。

实际应用

在实际应用层面，FoldPlanet-500直接服务于智能家居与人形机器人商业化落地中的衣物整理需求。基于该数据集训练的模型可部署于家庭服务机器人，实现自动化的衣物分类、折叠与收纳，显著提升日常生活场景中的劳动效率。在工业场景中，该数据集可用于纺织与服装行业的自动化后整理工序，辅助机械臂完成柔性物料的精确操控。此外，数据集的语义标注与多视角视频还可应用于智能辅助系统的开发，例如为视觉障碍人士提供衣物操作的语音指导，或在人机协作环境中实现操作意图的实时预测与响应。

衍生相关工作

FoldPlanet-500的发布催生了一系列围绕精细操作学习与多模态融合的衍生研究。基于其动作捕捉与视频对齐数据，研究者开发了面向人形机器人的全身协同控制算法，实现了从人体动捕轨迹到机器人运动映射的跨实体迁移。数据集中的视觉问答与思维链标注激发了任务导向的视觉语言模型微调工作，推动了操作步骤生成与执行监控的端到端模型设计。此外，衣物折叠这一非刚体操作特性促使学者探索基于仿真到真实迁移的域适应方法，利用该数据集作为真实基准来验证域随机化与物理仿真引擎的有效性。这些工作共同丰富并深化了具身智能在日常生活操作任务中的理论体系与技术栈。