DuoBox

DuoBox数据集包含从OptiTrack提取的骨架和SMPL-X拟合结果。骨架定义可以在OptiTrack的文档中找到。数据集格式包括fbx_export_joints和fbx_fit_smpl两种格式，分别记录了关节的全局位置和旋转信息，以及SMPL-X模型的平移、全局方向、身体姿态和形状参数。

The DuoBox Dataset contains skeletons extracted from OptiTrack and SMPL-X fitting results. The definition of the skeletons can be found in OptiTrack's documentation. The dataset is provided in two formats: fbx_export_joints and fbx_fit_smpl, which respectively record the global position and rotation information of the joints, as well as the translation, global orientation, body pose and shape parameters of the SMPL-X model.

原始信息汇总

Ready-to-React 数据集

数据集简介

Ready-to-React 数据集是用于双角色互动生成在线反应策略的官方实现。该数据集包含了从OptiTrack提取的骨架数据以及SMPL-X拟合结果。

数据集构成

DuoBox 数据集

• 骨架数据格式： python { f{sbj_name}_position: # (T, J, 3), 全球关节位置 f{sbj_name}_rotation: # (T, J, 3, 3), [:, 1] 是根全局方向，[:, 1:] 是其他关节相对于其父关节的本地旋转 }

• SMPL-X拟合结果数据格式： python { f{sbj_name}: { transl: # (T, 3) global_orient: # (T, 3) body_pose: # (T, 63) betas: # (T, 10) } }

数据准备

1. 下载DuoBox数据集，填写此表单。
2. 将下载的数据集链接到项目目录： bash mkdir data ln -s /path/to/DuoBox data/DuoBox

预训练模型

• 预训练模型权重可在此链接下载，并解压到data/目录下。

数据集目录结构

/data |__ DuoBox |__ trained_model

数据集使用

• 数据集可用于反应运动模型和稀疏控制模型的训练和评估。
• 提供了不同的推理设置，包括反应运动生成、双角色运动生成、长期双角色运动生成和稀疏控制。

引用

如使用该模型或数据集，请引用以下论文：

@inproceedings{cen2025_ready_to_react, title={Ready-to-React: Online Reaction Policy for Two-Character Interaction Generation}, author={Cen, Zhi and Pi, Huaijin and Peng, Sida and Shuai, Qing and Shen, Yujun and Bao, Hujun and Zhou, Xiaowei and Hu, Ruizhen}, booktitle={ICLR}, year={2025} }

搜集汇总

数据集介绍

构建方式

DuoBox数据集的构建是基于OptiTrack捕获的动作骨架，并使用SMPL-X模型进行拟合，从而获得精细的人体运动数据。该数据集涵盖了两个人物的交互动作，数据格式包括关节位置与旋转信息，以及经过SMPL-X模型拟合得到的运动参数。通过精心设计的预处理流程，数据被分割并准备用于反应性运动模型和稀疏控制模型的训练。

特点

DuoBox数据集的特点在于其提供了两个人物之间的交互动作数据，这些数据不仅包含了精确的骨架信息，还包含了对应的运动参数。此外，数据集支持不同的运动生成模式，如反应性运动生成、双人物运动生成以及长期双人物运动生成，使得该数据集在人物交互运动生成领域具有较高的灵活性和应用价值。

使用方法

使用DuoBox数据集时，用户首先需要下载并解压数据集文件到指定目录。之后，可以通过提供的脚本进行数据预处理，包括数据分割和预处理步骤，以适应不同的运动模型训练需求。在模型训练完成后，用户可以通过设置不同的推理模式来生成相应类型的运动序列。此外，数据集还提供了预训练模型的权重，方便用户快速开始实验和评估。

背景与挑战

背景概述

DuoBox数据集是在2025年由浙江大学等机构的研究人员开发，旨在为双角色交互生成提供在线反应策略。该数据集以Ready-to-React论文为基础，通过捕捉OptiTrack运动捕捉系统和SMPL-X拟合结果，构建了一种新的双角色交互生成框架。DuoBox数据集的创建，对推动虚拟角色交互、动画制作以及计算机视觉领域的研究具有重要意义。

当前挑战

DuoBox数据集在构建过程中面临了多个挑战，其中包括：1)确保从OptiTrack和SMPL-X获取的运动数据精确且同步，这对于生成自然的双角色交互至关重要；2)在数据预处理阶段，如何高效地分割和准备反应运动模型所需的数据；3)数据集的多样性和规模对于训练复杂模型的影响；4)在模型训练和评估中，需要解决如何平衡不同角色动作的自然性和连贯性的问题。

常用场景

经典使用场景

DuoBox数据集作为两个角色交互生成的研究工具，其经典使用场景在于为虚拟角色间的动态互动提供数据支持，特别是在动画制作、游戏开发以及虚拟现实等领域，通过对角色动作的捕捉与反应政策的训练，实现更为自然的动作响应。

实际应用

在实际应用中，DuoBox数据集可用于创建更加逼真的虚拟角色互动，例如在电影特效制作中模拟打斗场景，在游戏开发中实现角色间的即时互动反应，以及虚拟现实中的角色交互体验。

衍生相关工作

基于DuoBox数据集，研究者可以进一步开展相关工作，如开发新的动作生成算法、优化现有模型结构，以及探索更加复杂的角色互动模式，从而衍生出更多具有创新性的研究成果。