3DAffordSplat|3D高斯泼溅数据集|功能推理数据集

3DAffordSplat是第一个针对3D高斯泼溅（3DGS）的大规模多模态数据集，专门用于功能推理。该数据集包含23,677个高斯实例、8,354个点云实例和6,631个手动标注的功能标签，涵盖21个对象类别和18种功能类型。

原始信息汇总

3DAffordSplat数据集概述

📌 数据集简介

3DAffordSplat是首个针对3D高斯泼溅（3DGS）的 affordance 推理任务构建的大规模多模态数据集，包含23,677个高斯实例、8,354个点云实例和6,631个人工标注的affordance标签，涵盖21个物体类别和18种affordance类型。

📊 数据集组成

• 数据模态：
  • 3D高斯表示（Gaussian）
  • 点云表示（PointCloud）
  • 文本指令模态
• 标注内容：
  • 精细的affordance标注（如contain、grasp等）

📂 数据结构

—Seen ├── train/val/test │ ├── [物体类别] │ │ ├── Gaussian │ │ ├── PointCloud
│ │ ├── [affordance类型] │ │ │ ├── GS_anno_[ID].ply │ │ │ ├── PC_anno_[ID].json —Affordance-Question.csv —obj_aff_structure.json
—UnSeen_test.json —UnSeen_train.json

🔗 数据获取

• 下载地址：
  • HuggingFace
  • Google Drive/Baidu/ModelScope（即将发布）

📝 关键文件

• obj_aff_structure.json：完整物体-affordance配对
• UnSeen_train.json/UnSeen_test.json：未见设置下的数据划分

📜 相关论文

• 论文标题：3DAffordSplat: Efficient Affordance Reasoning with 3D Gaussians
• arXiv链接：https://arxiv.org/abs/2504.11218

AI搜集汇总

数据集介绍

构建方式

3DAffordSplat数据集作为首个专为3D高斯泼溅（3DGS）技术设计的大规模多模态功能推理数据集，其构建过程体现了严谨的学术规范。研究团队基于23,677个高斯实例和8,354个点云实例，通过专业标注平台SuperSplat对6,631个功能区域进行人工标注，覆盖21类常见物体和18种功能类型。数据集采用分层存储架构，按训练集、验证集和测试集划分，每个对象类别下分别存储高斯表示、点云数据及对应的功能标注文件，确保数据组织的系统性和可追溯性。

特点

该数据集最显著的特征在于其多模态融合的设计理念，同时包含3D高斯表示、点云数据和文本指令三种模态。通过引入3DGS技术特有的连续分布表示，数据集能够捕捉传统点云方法难以获取的细粒度功能特征。特别值得注意的是，数据集专门设计了可见集（Seen）和未见集（UnSeen）两种评估场景，其中UnSeen_test.json和UnSeen_train.json文件为模型泛化能力测试提供了标准化基准，这种设计显著提升了数据集在迁移学习研究中的实用价值。

使用方法

研究人员可通过HuggingFace等平台获取数据集压缩包，解压后按照预设的树状目录结构组织数据。使用前需详细阅读obj_aff_structure.json文件以理解对象-功能对的映射关系。对于功能推理任务，建议先加载高斯表示文件（.ply格式）或点云数据，再结合对应标注文件（GS_anno_*.ply或PC_anno_*.json）进行模型训练。数据集配套提供的Affordance-Question.csv文件包含丰富的文本指令，支持多模态联合训练场景。评估阶段可利用预定义的UnSeen测试集验证模型在未知类别上的泛化性能。

背景与挑战

背景概述

3DAffordSplat数据集由中山大学研究团队于2025年推出，作为首个基于3D高斯泼溅（3DGS）技术的大规模多模态功能性推理数据集，填补了该领域的数据空白。该数据集包含23,677个高斯实例、8,354个点云实例和6,631个人工标注的功能性标签，涵盖21个物体类别和18种功能性类型。其创新性在于将3DGS的高保真渲染特性与功能性推理任务相结合，为具身智能中的精确任务导向操作提供了新的研究范式。数据集通过跨模态结构对齐机制，有效解决了传统点云方法在坐标敏感性和数据稀疏性方面的局限，推动了三维场景理解与机器人操作交互研究的深度融合。

当前挑战

在功能性推理领域，3DAffordSplat需解决的核心挑战包括：如何准确建立三维物体几何特征与人类操作意图之间的映射关系，以及克服点云数据对视角变化的敏感性。数据集构建过程中面临三重技术难点：多模态数据对齐需要精确协调高斯表示与点云的空间一致性；大规模功能性标注需处理语义粒度与标注效率的平衡；跨类别泛化要求设计合理的未见物体评估机制。这些挑战促使研究者开发新型的AffordSplatNet模型，通过结构一致性先验知识来实现不同模态间的特征迁移，最终在保持实时推理速度的同时提升功能性识别精度。

常用场景

经典使用场景

在三维场景理解与交互任务中，3DAffordSplat数据集为基于3D高斯泼溅（3DGS）的功能性推理提供了标准化基准。其多模态特性支持同时处理高斯实例、点云数据及文本指令，尤其适用于虚拟机器人抓取规划、增强现实中的物体操作指导等需要细粒度空间感知的场景。数据集涵盖21类物体和18种功能标签，为模型在复杂环境下的泛化能力验证提供了丰富素材。

实际应用

在智能家居机器人领域，3DAffordSplat支持开发能理解'抽屉拉手'或'杯柄'等功能部件的视觉系统。工业质检中可用于识别机械零件的装配接口，医疗辅助系统则能依据该数据集训练器械抓取点的定位模型。其实时渲染特性更适用于需要低延迟交互的XR应用，如虚拟装配指导中的动态功能提示。

衍生相关工作

基于该数据集提出的AffordSplatNet架构，衍生出多篇关于跨模态表征对齐的改进研究。相关成果发表在CVPR等顶会上，包括融合神经辐射场的功能推理框架、基于扩散模型的功能区域生成方法。数据集本身继承自3DAffordanceNet的标注体系，并启发了后续ScanAffordance等大规模场景级功能数据集的构建。