transformer-transformer

Transformer Transformer训练数据集是为支持论文《Transformer Transformer: A Unified Model for Motion-Conditioned Robot Co-design》而创建的大规模机器人学习数据集。该数据集包含五个独立的数据文件，分别针对三种不同的机器人设计空间：ViperX（单臂移动机器人）、quadruped（四足机器人）和wheeled bimanual（轮式双手机器人）。每个数据文件以Zarr格式存储，包含机器人运动规划中的oracle rollout数据，具体涵盖体现机器人形态的RoboTokens、状态信息以及动作序列。数据集总规模超过1TB，单个文件大小从38GB到561GB不等，其中两个大型文件采用分卷压缩方式提供。这些数据专门用于训练机器人协同设计模型，支持硬件生成（hardware_gen）、控制器训练（ctrl）以及容量消融实验等任务。数据集附带完整的完整性校验机制（SHA256SUMS和.streamsha256文件），并采用与代码仓库一致的MIT许可证。The Transformer Transformer training dataset is a large-scale robotics learning dataset created to support the paper Transformer Transformer: A Unified Model for Motion-Conditioned Robot Co-design. It consists of five independent data files, covering three distinct robot design spaces: ViperX (a single-arm mobile robot), quadruped (a quadruped robot), and wheeled bimanual (a wheeled bimanual robot). Each data file is stored in Zarr format and contains oracle rollout data from robot motion planning, specifically including RoboTokens that embody robot morphology, state information, and action sequences. The total dataset size exceeds 1TB, with individual file sizes ranging from 38GB to 561GB, and two large files are provided in split compressed format. This data is specifically designed for training robot co-design models, supporting tasks such as hardware generation (hardware_gen), controller training (ctrl), and capacity ablation experiments. The dataset includes a comprehensive integrity verification mechanism (SHA256SUMS and .streamsha256 files) and is released under the MIT license, consistent with the code repository.

原始信息汇总

数据集概述

数据集名称：Transformer Transformer — training data
许可证：MIT
适用领域：机器人学（Robotics）
标签：机器人学习、协同设计、扩散模型、Mujoco物理引擎

数据集描述

该数据集是论文《Transformer Transformer: A Unified Model for Motion-Conditioned Robot Co-design》的训练数据，旨在提供用于机器人运动与形态协同设计的学习数据。

数据内容

每个数据文件为 tar 压缩的 Zarr 存储（一种分层数组存储格式），包含：

• embodiment RoboTokens：机器人形态的 RoboTokens
• states：机器人状态
• actions：机器人动作
• .zarr.idx 索引文件
• .norm.pt 归一化缓存（部分预计算）

数据格式详细说明见代码仓库的 docs/data_generation.md；训练命令见 docs/training.md。

数据集划分

数据文件标识	设计空间	下载大小	解压后大小	用于训练	关联检查点
5059e4-varviper-pop5-maxfun15-q0.0-intermediate-transformaug	ViperX 机器人	561 GB（12个压缩包）	646 GB	hardware_gen	hw3n9bux
36f120-plusplus-q0.2-10-1000	四足机器人	393 GB（9个压缩包）	~393 GB	hardware_gen	xrh4wk4l
6c5628-bimanual-dishwashing-train-10-1000-perchoice	轮式双臂机器人	46 GB	~46 GB	hardware_gen	mgoc83ra
9012be-bimanual-dishwashing-train-10-1000-q0.05	轮式双臂机器人	38 GB	~38 GB	ctrl	z4454nxj
a019e7-bimanual-dishwashing-train-10-1000-q0.05	轮式双臂机器人	48 GB	~48 GB	容量消融实验	52cbmwin、u5iyxc4d

其中，两个大型数据集（ViperX 和四足机器人）以每个约45 GB的分卷形式提供。

下载与提取

• 单文件：直接通过 wget 下载并解压 bash wget -qO- https://huggingface.co/datasets/hqhuy/transformer-transformer/resolve/main/6c5628-bimanual-dishwashing-train-10-1000-perchoice.zarr.tar | tar -xf- -C data/

• 分卷文件：

  • 四足机器人（普通 tar）：cat 36f120-*.zarr.tar.part-* | tar -xf- -C data/
  • ViperX（gzip 压缩）：cat 5059e4-*.zarr.tar.gz.part-* | tar -xzf- -C data/

• 一键下载（支持断点续传）： bash pip install huggingface_hub hf download hqhuy/transformer-transformer --repo-type dataset --local-dir training_data/

数据验证

• SHA256SUMS：覆盖所有数据文件（路径前缀为 training_data/，需在包含该目录的路径下运行） bash sha256sum -c --ignore-missing SHA256SUMS

• .streamsha256：每个分卷集附带一个哈希文件，用于在提取前验证分卷连接流的完整性（cat part-* | sha256sum）

相关资源

• 项目页面：https://transformer-transformer.github.io/
• 代码仓库：https://github.com/real-stanford/transformer-transformer
• 视频：https://youtu.be/TTyjvPVFbNw

搜集汇总

数据集介绍

构建方式

Transformer-Transformer数据集专为运动条件化机器人协同设计研究而构建，汇聚了多种机器人形态（如ViperX机械臂、四足机器人、轮式双臂机器人）在MuJoCo仿真环境中的专家轨迹数据。每个数据样本以Zarr格式存储，包含形态特征（embodiment RoboTokens）、状态与动作序列，并通过.tar压缩包绑定索引文件及标准化缓存。数据通过Oracle策略滚动生成，模拟了从简单到复杂任务（如洗碗操作）的多样化场景，覆盖五组不同设计空间与功能子集，总规模超过1TB，为大规模机器人学习提供了结构化基础。

特点

该数据集的核心特点在于其异构性与扩展性：它融合了不同复杂度机器人形态的运动轨迹，支持多任务联合训练。数据以分块压缩包形式发布（如45GB分割包），并附有SHA256校验与流哈希验证机制，确保大规模传输的完整性。此外，数据与配套代码仓库中的标准化文档（如`docs/data_generation.md`）紧密耦合，预计算的正则化缓存（`.norm.pt`）可加速训练流程，充分体现了对高效复现与易用性的兼顾。

使用方法

使用者可通过HuggingFace CLI或`wget`直接下载压缩包并解压至本地目录。对于大型数据集（如ViperX与四足机器人数据），需合并多部分压缩包后执行`tar`命令解压。数据加载需借助Zarr库读取.tar内的存储结构，并参照仓库中`docs/training.md`提供的训练指令调用数据子集（如`hardware_gen`或`ctrl`）。为验证数据完整性，建议通过`sha256sum`校验文件哈希，或利用`.streamsha256`验证合并流的一致性，确保实验可靠性。

背景与挑战

背景概述

Transformer-Transformer数据集由哥伦比亚大学Huy Ha、C. Karen Liu和Shuran Song研究团队于2023年创建，旨在推动机器人协同设计（co-design）领域的发展。该研究聚焦于运动条件化机器人协同设计，提出一种统一模型以联合优化机器人形态与运动控制。数据集通过在MuJoCo仿真环境中执行Oracle rollout策略，采集了包含机器人Token、状态和动作的轨迹数据，覆盖ViperX机械臂、四足机器人及轮式双臂机器人等多种设计空间。作为与论文配套的开源资源，该数据集为后续研究提供了标准化训练基准，显著推动了面向任务驱动的机器人形态与运动协同优化研究，在机器人学习与扩散模型交叉领域产生了重要影响力。

当前挑战

机器人协同设计面临的首要挑战是如何在庞大且耦合的设计空间中高效搜索最优形态与运动策略。Transformer-Transformer数据集通过解耦运动条件与形态表征来应对此问题，但构建过程面临多重困难：首先，多形态轨迹数据需在MuJoCo中执行大量Oracle rollout，单数据集规模达数百GB至TB级，对存储与传输效率提出严苛要求；其次，不同设计空间（如ViperX与轮式双臂机器人）的轨迹格式需统一为Zarr存储并附索引，以保证多任务训练的兼容性；此外，数据生成需精确控制最大函数评估次数等超参数以平衡覆盖度与计算成本，同时需通过SHA256校验确保大规模分布式下载的完整性。

常用场景

经典使用场景

在机器人学与智能体协同设计的前沿领域，Transformer-Transformer数据集为运动条件化机器人协同设计提供了大规模的轨迹数据支撑。该数据集通过MuJoCo物理引擎模拟生成了涵盖多种机器人形态（如ViperX机械臂、四足机器人、轮式双臂机器人）的专家轨迹，每个样本均包含机器人形态的RoboTokens、状态序列与动作指令。研究者常利用这些数据训练统一的扩散模型，以实现从任务意图到机器人形态与运动策略的联合生成，这是该数据集最典型的使用范式。

实际应用

在实际应用层面，该数据集所支撑的模型能够加速机器人系统的开发周期。例如，在家庭服务场景中，轮式双臂机器人可基于数据集中的洗碗示范轨迹，自动调整手臂长度与轮式底盘参数，以适应不同的厨房环境。对于工业制造，ViperX机械臂的轨迹数据可用于快速生成适应特定零件抓取任务的非标臂型方案，无需人工反复试错。四足机器人的运动数据则直接赋能灾害救援中的自适应步态生成，使机器人能在碎石、泥泞等复杂地形中自主调整腿长与步幅，提升穿越效率与任务成功率。

衍生相关工作

围绕该数据集已衍生出多项开创性工作。核心作品《Transformer Transformer: A Unified Model for Motion-Conditioned Robot Co-design》提出了基于扩散模型的形态-运动联合生成框架，并利用该数据集验证了其有效性。后续研究进一步拓展了数据集的用途，如用于机器人形态空间的探索性分析、基于条件扩散的迁移学习，以及多任务协同设计中的容量消融实验。此外，该数据集还为可泛化的机器人基础模型提供了训练基准，推动了从单一任务仿真到开放世界机器人部署的范式转变。