instant-fold-assets

INSTANT-FOLD Assets 数据集是 INSTANT-FOLD 项目的公共发布资产集合，主要用于布料模拟、轨迹生成、模型预训练和基准评估。数据集包含多个资产包，每个包针对特定用途：eval 包用于普通公共模拟评估，包含检查点、演示轨迹和网格数据；data-gen 包提供用于本地公共轨迹生成的 360 个网格库；benchmark-eval 包支持基准等效的精确初始化回放评估；benchmark-repro 包提供紧凑资产，用于复现发布的相同初始化基准表格；pretrain-smoke 包为预训练提供小型可运行的冒烟测试语料；pretrain-full 包则包含完整的上下文 1-8 公共 LoRA 预训练语料库，采用 H5 格式。数据集适用于布料物理模拟、强化学习策略评估、模型预训练以及研究复现等任务。The INSTANT-FOLD Assets dataset is a public release asset collection for the INSTANT-FOLD project, primarily used for cloth simulation, trajectory generation, model pre-training, and benchmark evaluation. The dataset includes multiple asset packages, each tailored for specific purposes: the eval package is for general public simulation evaluation, containing checkpoints, demonstration trajectories, and mesh data; the data-gen package provides a library of 360 meshes for local public trajectory generation; the benchmark-eval package supports precise initialization replay evaluation equivalent to benchmarks; the benchmark-repro package offers compact assets for reproducing the same initialization benchmark tables as published; the pretrain-smoke package provides a small, runnable smoke test corpus for pre-training; and the pretrain-full package contains the full context 1-8 public LoRA pre-training corpus in H5 format. The dataset is suitable for tasks such as cloth physics simulation, reinforcement learning policy evaluation, model pre-training, and research reproduction.

原始信息汇总

INSTANT-FOLD Assets 数据集概述

数据集基本信息

• 许可证：MIT
• 用途：存储 INSTANT-FOLD 项目的公开发布资产

数据包（Bundles）概览

数据包	用途	典型命令
encoder	已发布的预训练编码器检查点	instant-fold assets download --bundle encoder
eval	普通公开仿真评估	instant-fold assets download --bundle eval
data-gen	已发布的 360 网格库，用于本地公开轨迹生成	instant-fold assets download --bundle data-gen
benchmark-eval	基准等价评估的精确初始化重放资产	instant-fold assets download --bundle benchmark-eval
benchmark-repro	复现已发布的相同初始化基准表的紧凑资产	instant-fold assets download --bundle benchmark-repro
train-smoke	可直接运行的公开训练数据微型语料库	instant-fold assets download --bundle train-smoke
train-full	完整的 ctx1-8 公开共享训练语料库	instant-fold assets download --bundle train-full

数据包内容详解

encoder

• checkpoints/pretrained_lora.pth：用于表示可视化与公开策略训练的预训练编码器检查点

eval

• checkpoints/8-ctx-policy.pth
• data/eval_demo_trajectories.tar
• data/eval_mesh_ids.txt
• data/cloth3d_mesh_tops_eval_subset.tar.gz

benchmark-eval

• benchmark_replay/replay_manifest.json
• benchmark_replay/eval_state_cache.tar.gz：用于实现与已发布基准等价的精确初始化重放

benchmark-repro

• benchmark_repro/reference_features_38400.npz
• benchmark_repro/reference_metric_rows_38400.csv
• benchmark_repro/language_conditioned.tar.gz
• benchmark_repro/demo_conditioned_8_ctx_policy.tar.gz
• 用于使用紧凑公开缓存复现以下设置的相同初始化基准表：language_conditioned、demo_conditioned_8_ctx_policy、oracle

data-gen

• data/cloth3d_mesh_tops_full.tar.gz：360 网格库，安装后位于 data/meshes/tops/，用于本地轨迹生成

train-smoke

• train/train_smoke.tar：可直接运行的公开训练数据微型语料库

train-full

• train/train_full_metadata.tar
• train/train_ctx1_8_way1.tar 至 train/train_ctx1_8_way8.tar（共 8 部分）
• 完整的 ctx1-8 H5 语料库，同时用于编码器预训练和策略训练

使用建议

• 普通用户：仅需 eval 数据包
• 基准复现：需要同时下载 eval 和 benchmark-eval 数据包
• 论文表格复现：需要使用 benchmark-repro 数据包
• 本地数据生成：使用 data-gen 数据包
• 模型训练：根据需求选择 train-smoke（轻量测试）或 train-full（完整训练）

搜集汇总

数据集介绍

构建方式

INSTANT-FOLD Assets 数据集以模块化、层次化的方式构建，按照用途分为了七个明确的功能包（Bundle）。每个包内包含了独立且完整的文件资源，例如评估捆绑包中集成了策略检查点、演示轨迹存档、网格标识符列表以及布料网格子集，而训练包则提供了多通道的H5格式语料库，支持上下文长度从1至8的扩展。这种设计使得用户可根据实际需求仅下载必要的组件，极大地提升了资源获取的效率与灵活性。

特点

该数据集的一大特色在于其高度细粒度的功能划分与定制化下载支持。不同捆绑包服务于截然不同的实验目的，包括编码器权重发布、公开仿真评估、基准精确回放、论文结果复现、本地轨迹生成以及全规模训练数据的提供。同时，数据集内含丰富的标识文件（如manifest.json、mesh_ids.txt）与预计算特征缓存（如.npz格式），极大简化了多阶段工作流的衔接与复现过程。

使用方法

使用该数据集时，用户通过 `instant-fold assets download --bundle <包名>` 命令获取对应捆绑资源。例如，运行常规公开评估只需下载 `eval` 包并以 `instant-fold eval-sim demo` 指令启动仿真；若需复现论文表格，则需额外获取 `benchmark-repro` 包，并调用 `instant-fold benchmark-eval same-init-table` 并指定路径参数。整体操作流程简洁统一，适合自动化脚本集成与大规模实验部署。

背景与挑战

背景概述

INSTANT-FOLD Assets数据集由相关研究团队于近期发布，旨在推动可变形物体（如布料）折叠仿真与策略学习领域的发展。该数据集聚焦于从视觉输入到机器人操作的闭环控制问题，通过提供预训练编码器、评估轨迹、训练语料库及网格资产等资源，为研究者构建统一的基准平台。其核心研究问题在于如何利用大规模共享数据实现高效的策略预训练与可复现的仿真评估。作为公开资源，该数据集显著降低了相关实验的门槛，促进了语言条件化、演示条件化及端到端策略等方向的可比性研究，在机器人操作与仿真领域展现出广泛的影响力。

当前挑战

该数据集所解决的领域问题核心挑战在于可变形物体操作的复杂物理特性与高维状态空间，使得传统强化学习方法难以高效泛化。构建过程中面临多重困难：一是需要从真实或高保真仿真中采集大规模、多样化的轨迹数据，同时保证物理一致性；二是设计了多层级的数据打包方案（如encoder、eval、train-full等），以支持从预训练到基准复现的全流程，这要求严格的数据划分与版本管理；三是公开了360网格库及专用缓存文件，以兼顾训练效率与复现准确性，但如何平衡数据规模与下载使用便利性仍是持续挑战。

常用场景

经典使用场景

在机器人灵巧操作与衣物折叠的交叉领域中，INSTANT-FOLD Assets 数据集为基于视觉与触觉的衣物状态推理提供了标准化的训练与评估平台。其经典使用场景涵盖从预训练编码器加载、策略训练到多轮仿真评估的全流程：研究者可通过下载 encoder 包获取预训练的 LoRA 权重，用于表征可视化或下游策略微调；利用 eval 包中的仿真轨迹与网格数据，在随机初始化模式下进行快速验证；更进一步，benchmark-eval 和 benchmark-repro 包支持精准的相同初始条件复现，确保不同方法间的公平比较。这种多层次、模块化的设计，使得该数据集成为推动衣物操作领域可复现研究的重要基础。

衍生相关工作

该数据集的出现激发了多项衍生研究。基于其公开的预训练编码器 checkpoint，研究者发展出语言引导的衣物折叠综述方法，将自然语言指令与隐式动作空间对齐。benchmark-repro 包中提供的紧凑参考缓存机制，启发了一系列针对非刚体操作的可复现基准构建工作，推动了仿真到真实域迁移（Sim-to-Real）的标准化评估。同时，多上下文训练语料（ctx1-8）被广泛用于探索不同历史信息长度对折叠策略的影响，衍生出分层时间抽象模型与注意力机制改进方案。这些工作不仅深化了对衣物物理交互的理解，也为更广泛的非刚体操作任务（如布料铺设、绳结解开）提供了方法论参考。

数据集最近研究

最新研究方向

在机器人操作与物理仿真领域，可变形物体（如布料）的精准操控一直是极具挑战的前沿课题。INSTANT-FOLD Assets数据集应运而生，它为可折叠布料操作任务提供了全方位的标准化评估与训练资源，涵盖预训练编码器、多场景仿真基准以及大规模公共轨迹数据。该数据集通过提供精确的初始状态回放和紧凑的论文复现资源，推动了基于语言指令与演示的折叠策略研究，使研究者能够在统一框架下公平比较不同方法的性能。其公开的360网格模型库和共享训练语料库，极大降低了可变形物体操作研究的入门门槛，促进了该方向从封闭基准向开放合作的范式转变，对于发展通用且鲁棒的布料操控智能体具有里程碑式的意义。