3DGen-Bench|3D模型生成数据集|机器学习数据集

3DGen-Bench是一个全面的3D模型生成人类偏好数据集，由上海人工智能实验室、浙江大学等机构共同构建。该数据集通过3DGen-Arena平台以对战方式高效收集人类偏好数据，包含500多个文本提示和500多个图像提示，覆盖270多个独特类别，涉及6个基本主题。数据集基于标注数据训练了两个评分模型，用于自动评估与人类判断相一致的质量评分。

AI搜集汇总

数据集介绍

构建方式

3DGen-Bench数据集的构建采用了多维度、多阶段的系统化方法。研究团队首先通过3DGen-Arena平台集成22种前沿3D生成模型，基于1,020个精心设计的文本和图像提示（涵盖270+类别和4种难度场景）生成了11,220个3D资产。数据采集采用双轨制：通过匿名对战平台收集68,400份公众偏好投票，同时组织47名专业标注员完成56,100份多维度绝对评分。为确保数据质量，设计了五维评估标准（几何合理性、细节丰富度等），并创新性地采用三重视觉呈现（RGB、法线贴图、几何线框）辅助标注决策。

特点

该数据集的核心价值体现在三个维度：规模上，其13.8万条标注数据远超同类基准；维度上，首创同时支持文本/图像双模态提示的评估体系；质量上，通过专家校验和交叉验证机制确保标注可靠性。特别地，数据集包含58,000+对战组合和11.2万生成资产，覆盖9类文本生成3D模型和13类图像生成3D模型，并首次引入绝对评分体系。其多视角渲染数据和细粒度质量维度（如几何-纹理一致性）为3D生成研究提供了前所未有的分析粒度。

使用方法

数据集支持三种典型应用范式：首先，可通过Elo评分系统构建模型排行榜，基于五维指标进行横向比较；其次，作为训练自动评估模型的基础，如研究团队开发的CLIP-based 3DGen-Score和MLLM-based 3DGen-Eval；第三，支持生成模型优化，通过将评分作为强化学习的奖励信号。使用时应分层采样训练/验证/测试集（9:1:2比例），注意不同模态数据需分别处理。对于科研用途，建议优先采用平台提供的标准渲染视角以确保评估一致性。

背景与挑战

背景概述

3DGen-Bench是由上海人工智能实验室、复旦大学、浙江大学等机构的研究团队于2025年提出的首个面向3D生成模型的大规模人类偏好数据集。该数据集针对3D内容生成领域长期存在的评估标准滞后问题，通过构建包含11,220个3D资产的综合模型库，收集了68,400组对比投票和56,100项绝对评分。数据集创新性地采用竞技场式评估平台3DGen-Arena，涵盖文本到3D和图像到3D两种生成模式，涉及几何合理性、纹理质量等五个维度的细粒度评估标准，为3D生成模型的性能评估提供了重要基准。

当前挑战

该数据集主要面临三方面挑战：在领域问题层面，3D生成评估长期依赖CLIP等图像领域指标，难以捕捉多视角一致性和几何-纹理协调性等三维特性；在构建过程中，需要解决大规模3D资产渲染的算力消耗问题，以及人类标注者对于复杂3D质量评判的主观差异性；在算法层面，现有基于CLIP的评估方法对几何特征表征不足，而基于GPT-4V的评估存在黑箱偏差，亟需开发兼顾准确性与可解释性的新型评估框架。

常用场景

经典使用场景

3DGen-Bench数据集在3D生成模型的评估与优化中扮演着核心角色，尤其在文本到3D和图像到3D生成任务中。通过其大规模的多维度人类偏好数据，研究者能够系统地比较不同生成模型在几何合理性、纹理质量、几何细节、几何-纹理一致性以及提示-资产对齐等五个关键维度的表现。该数据集通过3DGen-Arena平台收集的匿名对战数据和专家标注的绝对评分，为模型评估提供了丰富且可靠的基准。

解决学术问题

3DGen-Bench解决了3D生成领域长期存在的自动评估与人类感知对齐不足的问题。传统评估方法如CLIP相似性在多视图一致性和3D特定先验知识上表现不佳，而该数据集通过引入人类偏好数据，填补了这一空白。其提出的3DGen-Score和3DGen-Eval评估模型，不仅统一了文本到3D和图像到3D的评估标准，还显著提升了与人类判断的相关性，为3D生成模型的公平比较和优化提供了科学依据。

衍生相关工作

3DGen-Bench的发布催生了一系列相关研究，例如基于其人类偏好数据训练的3DGen-Score模型已被应用于模型优化框架DreamReward中。同时，该数据集启发了对多模态大语言模型（如GPT-4V）在3D评估中潜在偏差的深入分析，并推动了如MV-LLaVA等开源评估工具的发展。其构建方法也为其他模态（如视频生成）的偏好数据集建立提供了重要参考。