JeffreyXiang/TRELLIS-500K

TRELLIS-500K是一个包含50万个3D资产的数据集，这些资产是从Objaverse(XL)、ABO、3D-FUTURE、HSSD和Toys4k中精心挑选出来的，并根据美学分数进行了过滤。该数据集用于3D生成任务，并已在论文《Structured 3D Latents for Scalable and Versatile 3D Generation》中介绍。

TRELLIS-500K is a dataset of 500K 3D assets curated from Objaverse(XL), ABO, 3D-FUTURE, HSSD, and Toys4k, filtered based on aesthetic scores. This dataset is used for 3D generation tasks and was introduced in the paper Structured 3D Latents for Scalable and Versatile 3D Generation.

搜集汇总

数据集介绍

构建方式

TRELLIS-500K数据集由来自ObjaverseXL、ABO、3D-FUTURE、HSSD和Toys4k五个来源的50万三维资产精心筛选而成。构建过程中，研究者依据美学评分阈值对原始数据进行过滤，其中ObjaverseXL系列采用5.5的阈值，其余来源采用4.5的阈值，最终从超过百万的原始资产中萃取出高质量子集。训练集包含500,777个三维模型，评估集Toys4k包含3,229个样本，每个来源均以CSV格式存储元数据，便于按配置加载。

特点

该数据集的核心特点在于其规模庞大且质量精良，汇聚了来自学术界和工业界多个主流三维资产库的精华。所有资产均经过美学评分筛选，确保了视觉质量的统一性。值得注意的是，数据集中的绝大多数样本（约494,770个）都附带有文本描述，为文本到三维的生成任务提供了有力支撑。此外，数据集按照来源分为五个子配置，支持图像到三维和文本到三维两类生成任务，展现出高度的灵活性与适用性。

使用方法

使用者可通过HuggingFace Datasets库便捷地加载该数据集，根据需求选择不同的配置名称，如ObjaverseXL_sketchfab、ObjaverseXL_github、ABO、3D-FUTURE或HSSD用于训练，Toys4k用于评估。每个配置均以CSV文件形式存储，包含三维资产的路径和元数据信息。若需使用文本描述进行生成任务，应注意过滤掉缺乏文本标注的样本。配套的数据处理工具包可在Microsoft/TRELLIS仓库获取，支持用户进行进一步的数据预处理和转换操作。

背景与挑战

背景概述

TRELLIS-500K数据集由微软研究院联合多所高校于2024年提出，旨在推动三维生成领域从单一模态输入向多模态可控生成的跨越。该数据集从ObjaverseXL、ABO、3D-FUTURE、HSSD及Toys4k五大权威三维资源库中精选约50万高质量三维资产，依据美学评分阈值进行严格筛选，并配套文本描述，为《Structured 3D Latents for Scalable and Versatile 3D Generation》论文提供核心训练与评估基准。其构建解决了现有三维数据集规模不足、质量参差不齐、缺乏统一标注的问题，为图像到三维、文本到三维等跨模态生成任务奠定了数据基石，显著提升了生成模型的泛化能力与视觉保真度。

当前挑战

当前三维生成领域面临两大核心挑战：一是多源异构三维数据的统一表征与质量控制，TRELLIS-500K通过美学评分过滤和元数据对齐缓解了此问题，但不同来源的几何复杂度、纹理分辨率及语义标注粒度差异仍对模型鲁棒性构成考验；二是大规模三维数据的高效处理与标注瓶颈，该数据集虽整合了约50万资产，但部分模型缺乏文本描述（约1.2%），且从原始资源库中自动化清洗、格式转换及标注一致性维护需要大量计算资源与人工校验，限制了数据集的快速扩展与领域适配。

常用场景

经典使用场景

TRELLIS-500K数据集在三维生成领域扮演着举足轻重的角色，其经典使用场景聚焦于图像到三维模型与文本到三维模型的生成任务。研究者借助该数据集，能够训练出从二维视觉线索或自然语言描述中精准重建三维几何结构与纹理的生成模型。该数据集汇集了来自ObjaverseXL、ABO、3D-FUTURE、HSSD及Toys4k等知名三维资源库的五十万件高质量资产，并通过美学评分筛选确保数据质量，为构建鲁棒且泛化能力强的三维生成系统提供了坚实的数据基石。

解决学术问题

该数据集有效应对了三维生成领域长期存在的关键学术挑战，包括数据规模不足、质量参差不齐以及多源异构数据整合难题。TRELLIS-500K通过统一的美学过滤标准与结构化标注，解决了大规模三维数据难以获取与标准化的问题，为研究可扩展且通用的三维表征学习范式铺平了道路。其引入为探索结构化三维隐空间与多模态条件生成的理论框架提供了实验支撑，显著推动了从稀疏观测到完整三维形状推断这一核心学术问题的研究进展。

衍生相关工作

围绕TRELLIS-500K数据集，学术界已衍生出一系列开创性工作。最直接的关联工作是提出该数据集的论文《Structured 3D Latents for Scalable and Versatile 3D Generation》，其首次系统性地利用该数据训练了基于结构化三维隐空间的生成模型，实现了图像与文本到三维的高质量转换。后续研究进一步探索了基于该数据集的扩散模型优化、多视角一致性增强以及零样本三维生成等方向，形成了以数据驱动为核心的三维生成研究范式，并催生了多个开源工具链与基准测试平台，推动了该领域的标准化与可复现性。