Anymate

Anymate数据集是一个大规模的数据集，包含230K个3D资产，配有专家制作的绑定和皮肤信息，比现有数据集大约70倍。使用这个数据集，我们开发了一个可扩展的基于学习的自动绑定框架，包含三个顺序模块用于关节、连接性和皮肤权重预测。

The Anymate Dataset is a large-scale dataset containing 230,000 3D assets equipped with expert-crafted rigging and skinning information, and it is approximately 70 times larger than existing datasets. Using this dataset, we developed a scalable learning-based automatic rigging framework that comprises three sequential modules for joint, connectivity, and skin weight prediction.

原始信息汇总

Anymate数据集概述

数据集基本信息

• 名称：Anymate
• 用途：学习3D对象绑定（Rigging）
• 规模：230K 3D资产，配备专家制作的绑定和蒙皮信息
• 比较优势：比现有数据集大70倍

数据集内容

• 数据格式：PyTorch张量（.pt文件）
• 组成：
  • 测试集：Anymate_test.pt
  • 训练集：分割为8部分（Anymate_train_0.pt至Anymate_train_7.pt）

数据结构

每个数据资产为字典，包含以下键：

基础信息

键	类型	形状	描述
name	str	1	资产的唯一ID
pc	float32	8196x6	从3D网格采样的点云：[位置, 法线]
vox	bool	64³	3D网格的体素化版本

关节信息

键	类型	形状	描述
joints	float32	96x3	关节位置（最大96个关节，用-3填充）
joints_num	int	1	关节数量
joints_mask	bool	(<96)	有效关节的掩码

连接信息

键	类型	形状	描述
conns	int8	96x(<96)	连接矩阵（用0填充）

骨骼信息

键	类型	形状	描述
bones	float32	64x6	骨骼的起点和终点位置（用-3填充）
bones_num	int	1	骨骼数量
bones_mask	bool	(<64)	有效骨骼的掩码

蒙皮信息

键	类型	形状	描述
skins	float16	8192x(<64)	8192个点相对于最多64根骨骼的蒙皮权重

测试集额外信息

键	类型	形状	描述
mesh_skins	float16	Vx(<64)	每个顶点的蒙皮权重
mesh_pc	float32	Vx6	每个顶点的[位置, 法线]
mesh_face	int	Fx3	每个三角形的面索引

下载与使用

• 下载命令： bash bash Anymate/get_datasets.sh

• 加载方式： python dataset = torch.load(Anymate_xxx.pt)

数据处理

• 处理脚本：Dataset_process.py
• 依赖：Blender 4.0（需下载并解压至ThirdParty/blender-4.0.0-linux-x64）

相关资源

• 论文：https://www.arxiv.org/abs/2505.06227
• 项目页面：https://anymate3d.github.io/
• Hugging Face演示：https://huggingface.co/spaces/yfdeng/Anymate

搜集汇总

数据集介绍

构建方式

在三维物体绑定技术领域，Anymate数据集的构建体现了系统性工程思维。研究团队基于Objaverse-XL海量资源，通过专家标注流程精心构建了23万组三维资产与绑定信息的配对数据，规模达到现有数据集的70倍。数据处理采用多模态表征策略，每个样本包含点云、体素化网格、关节位置、骨骼连接矩阵及蒙皮权重等结构化信息，并通过PyTorch张量格式实现高效存储。预处理阶段运用Blender 4.0进行三维网格采样与参数化处理，最终形成包含训练集分片和独立测试集的标准化数据架构。

特点

该数据集的核心价值在于其多维度的技术特性。数据样本涵盖8196个采样点的点云坐标与法向量，配合64分辨率体素网格构成双重几何表征。关节系统支持最多96个关节点及其连接关系，骨骼数据包含64根骨骼的空间向量，蒙皮权重则精确映射8192个采样点与骨骼的绑定关系。测试集额外保留原始网格的顶点级蒙皮权重与面片索引，为算法评估提供完整拓扑参照。这种细粒度的多层级标注体系，为三维自动绑定算法研发建立了新的基准。

使用方法

数据集的应用遵循模块化研究范式。通过执行get_datasets.sh脚本可获取经预处理的PyTorch张量数据，采用torch.load()直接加载为字典结构。训练流程支持分布式计算，可将数据集划分为N个分区适配多GPU训练场景。评估体系包含关节预测、扩散式权重生成、连接性预测和蒙皮权重预测四个核心模块，通过修改配置文件实现不同架构的对比实验。配套提供的Hugging Face交互式演示，允许用户通过可视化界面直观验证算法效果，形成完整的研究闭环。

背景与挑战

背景概述

Anymate数据集由Yufan Deng、Yuhao Zhang等学者于2024年5月推出，旨在推动三维物体装配技术的深度学习研究。该数据集包含23万组三维资产与专家标注的骨骼绑定信息，规模达到现有数据集的70倍，为计算机图形学与几何处理领域提供了前所未有的资源支撑。其核心研究聚焦于解决三维模型自动绑定这一关键问题，通过构建包含关节位置、连接关系和蒙皮权重的多模态数据，显著提升了基于学习的自动装配框架的泛化能力。该数据集通过融合Objaverse-XL等大规模三维资源，为数字内容创作、虚拟现实等应用场景奠定了重要技术基础。

当前挑战

三维物体装配领域长期面临两大挑战：一方面，传统方法依赖人工标注与参数化模板，难以处理复杂几何拓扑结构；另一方面，现有数据集规模有限且标注粒度不足，制约了深度学习模型的性能上限。Anymate在构建过程中需攻克多模态数据对齐的技术难题，包括从异构三维模型中提取标准化点云、体素化表示与骨骼拓扑的映射关系。此外，处理超大规模数据时需平衡计算效率与信息完整性，例如设计稀疏矩阵存储关节连接关系，以及采用量化策略压缩蒙皮权重数据。这些挑战的解决为后续研究提供了宝贵的工程经验与基准参考。

常用场景

经典使用场景

在三维建模与动画制作领域，Anymate数据集为学习三维对象绑定技术提供了丰富资源。其经典使用场景包括自动预测关节位置、连接关系及蒙皮权重，极大简化了传统手工绑定的繁琐流程。通过大规模点云与体素化数据，研究者可训练端到端的自动绑定模型，显著提升角色动画的制作效率。

衍生相关工作

基于Anymate的基线框架催生了多项创新研究，如结合扩散模型的关节权重预测方法。其数据构建流程启发了Objaverse-XL等数据集的增强标注工作，相关技术已被扩展至物理模拟角色绑定、虚拟数字人创建等新兴方向，形成完整的学术研究生态。

数据集最近研究

最新研究方向

在三维物体绑定技术领域，Anymate数据集的推出标志着学习型自动绑定框架的重大突破。该数据集以其23万样本量和专家级绑定信息的规模优势，为基于深度学习的关节预测、连接性分析和蒙皮权重计算提供了前所未有的训练基础。当前研究聚焦于多模块协同的端到端绑定系统优化，探索扩散模型在关节权重预测中的创新应用，并与Objaverse-XL等大规模三维资产库的兼容性研究形成交叉热点。这一技术进展正推动着游戏开发、影视动画和虚拟现实产业向高效自动化生产流程迈进，其开源特性也加速了学术社区对复杂拓扑结构泛化能力的探索。