FolDeX

FolDeX是首个专注于长时域可变形物体操作的实物基准数据集与评估平台，由复旦大学、美的集团人工智能研究中心及卡内基梅隆大学联合创建。数据集拥有超过2000小时的真实机器人操作经验，覆盖20余项任务及10余种机器人本体，以衣物折叠为核心任务。其数据通过真实机器人物理演示收集，并围绕恢复、任务、场景和本体四个维度组织，以探究异构数据的复用效能。该数据集旨在弥补现有基准在长时域可变形操作评估方面的不足，为具身智能模型提供标准化的物理世界测试环境，并促进数据高效复用策略的研究。FolDeX is the first physical benchmark dataset and evaluation platform focused on long-horizon deformable object manipulation, co-developed by Fudan University, the AI Research Center of Midea Group, and Carnegie Mellon University. The dataset contains over 2000 hours of real-world robotic manipulation demonstrations, covering more than 20 tasks and over 10 robot embodiments, with cloth folding as its core task. Its data is collected via real robotic physical demonstrations and organized along four dimensions: recovery, task, scene, and embodiment, to explore the reuse efficiency of heterogeneous data. This dataset aims to address the shortcomings of existing benchmarks in long-horizon deformable manipulation evaluation, provide standardized physical-world test environments for embodied intelligence models, and promote research on efficient data reuse strategies.

搜集汇总

数据集介绍

构建方式

FolDeX的构建根植于真实机器人操作在可变形物体长时程任务中的迫切需求，摒弃仿真环境的间接性，全部数据源自物理世界中的机器人系统。构建过程依托10余种机器人平台，包括Aloha、YAM、Piper、Astribot、Franka、UR5及自研移动双臂平台等，涵盖单臂、双臂、移动与类人构型，在桌面与家庭环境中执行20余项任务。数据采集遵循统一模式，同步记录视觉观测、本体感知、时间戳动作、自然语言指令及回合级元数据，元数据涵盖任务、物体类别、场景、 embodiment、操作者与完成状态。基于此，构建者将异质经验沿恢复、跨任务、跨场景与跨具身四个轴向组织，形成结构化基准轨道。

特点

FolDeX以长时程可变形物体操作为核心特征，尤以衣物折叠为主要任务族，覆盖从取物、铺平、翻转、多步折叠到最终堆叠的完整依赖序列。数据集汇聚2000余小时真实机器人经验，跨越20余项任务与10余种机器人 embodiment，呈现连续形变、多阶段状态转移、接触密集的双臂协调与长回合误差累积等挑战。其独特之处在于将人类干预与恢复数据、跨衣物类别与刚柔迁移数据、跨光照背景与空间布局数据、跨具身数据纳入统一基准，并配套FoldChallenge评估平台，采用标准化任务定义、保留物理对象、受控初始化与统一执行协议，引入FoldScore综合考量成功率、最终平整度与完成时间。

使用方法

FolDeX的使用遵循标准化物理评估协议，研究者可基于四个诊断轨道开展实验：恢复数据利用轨道将策略部署中采集的人类干预轨迹与独立演示数据结合，训练新初始化策略以评估恢复数据效用；跨任务轨道混合刚性与可变形物体数据，检验联合训练与持续训练中的迁移与干扰；跨场景轨道改变空间布局、光照与背景，评估数据重用与泛化能力；跨具身轨道跨不同运动学与动作空间平台，研究知识共享与目标机器人数据效率。评估时，策略接收双腕眼手相机与外部相机的同步RGB观测、语言指令及本体状态，预测末端执行器轨迹，在统一物理任务、衣物实例、初始化与最大时长下执行，报告成功率、平均完成时间、最终平整度与FoldScore，所有定性评分由至少两名评估者独立评定并一致确认。

背景与挑战

背景概述

具身智能与视觉-语言-动作模型及世界动作模型的发展，亟需在物理世界中实现可靠执行，然而仿真环境中的优异表现往往难以直接迁移至真实机器人，这一困境在长时程可变形物体操作中尤为严峻。现有真实机器人基准多聚焦于短时程刚性物体抓取与放置，对长时程可变形任务覆盖不足，且缺乏统一的物理评估协议。为弥合此鸿沟，复旦大学、美的集团AI研究中心与卡内基梅隆大学的研究人员联合构建了FolDeX数据集。该数据集完全基于真实机器人数据，以衣物折叠为核心任务，涵盖2000余小时真实机器人经验、20余项操作任务及10余种机器人本体，并配套建立了公开可访问的FoldChallenge评估平台，旨在推动异质真实机器人数据的高效复用与长时程可变形操作的可靠执行。

当前挑战

FolDeX所面临的核心挑战首先体现于长时程可变形物体操作本身的领域难题：衣物等可变形物体在操作过程中持续形变、自遮挡、相互纠缠，接触后状态响应迥异，策略需在部分可观测条件下追踪连续变化的状态，协调多阶段双臂接触密集型动作，并具备从累积误差中恢复的能力。其次，数据集构建过程中亦面临多重挑战：真实机器人数据采集成本高昂，涉及多种机器人本体的运动学、控制接口与动作空间差异，跨本体数据存在严重的动作空间干扰与灾难性遗忘；跨任务数据联合训练易引发负迁移，而持续训练则导致先前习得行为的遗忘；此外，真实机器人评估对数据组成、重置流程、推理设置、标定与通信延迟高度敏感，即使同一基础策略在不同配置下性能亦可能显著波动，使得公平、可复现的基准评测成为一项艰巨任务。

常用场景

经典使用场景

在具身智能与机器人操作研究领域，FolDeX最经典的使用场景是作为长时程可变形物体操作的物理世界基准，以衣物折叠为核心任务族，系统评估视觉-语言-动作模型与世界-动作模型在真实机器人上的闭环执行能力。该基准以真实机器人数据为唯一来源，涵盖从篮子中取衣、随机铺展、翻面抚平、多阶段折叠到最终堆叠的完整依赖式操作序列，要求策略在连续变化的状态、自遮挡、接触纠缠与误差累积条件下完成多阶段双臂协同。依托标准化的任务定义、留出物理对象、受控初始化与统一执行协议，FolDeX为外部提交策略提供公平的真实机器人评测环境，并以任务成功率、最终状态整洁度与完成时间联合构成的FoldScore进行综合评价。

实际应用

FolDeX的实际应用场景紧密围绕家庭服务机器人与工业柔性操作需求。在家庭环境中，机器人需完成衬衫、裙子、裤子、毛巾等不同类别衣物的抓取、展开、折叠与堆叠，并在光照、背景与空间布局变化下保持稳定执行；在物流与纺织场景中，可变形物体的整理、打包与分拣同样依赖对连续形变状态的可靠推理。FolDeX构建的FoldChallenge评测平台已投入实际运行，支持外部提交策略在标准化物理协议下执行，并提供可审计的 rollout 视频与排行榜报告。该平台使研究者能够在统一物理条件下比较不同模型的真实部署表现，为可变形物体操作策略的选型、迭代与落地提供了可操作的评测基础设施。

衍生相关工作

FolDeX的发布催生并衔接了一系列围绕可变形物体操作与真实机器人评测的经典工作。在可变形操作方向，SpeedFolding与FoldsFormer分别针对高效双臂折叠与序列化多步布料操作展开研究，Flat'n'Fold提供同步多模态演示以支持衣物感知与子任务分析，GarmentLab与SoftGym则在仿真层面构建可扩展的可变形物体环境，RGBench以高保真服装仿真评估抓取、折叠与抛掷交互。在真实机器人评测方向，RoboChallenge/Table30、RoboDojo、AutoEval、RoboArena与VLA-REPLICA从远程托管、自动化评估、分布式双盲比较与低成本可复现等角度拓展了物理评测范式。FolDeX以折叠为中心、完整长时程可变形操作闭环与外部物理评测协议，与上述工作形成互补，并为其提供了异构真实机器人数据复用的统一参照。