3DAffordSplat

3DAffordSplat是第一个针对3D高斯泼溅（3DGS）的大规模多模态数据集，专门用于功能推理。该数据集包含23,677个高斯实例、8,354个点云实例和6,631个手动标注的功能标签，涵盖21个对象类别和18种功能类型。

3DAffordSplat is the first large-scale multimodal dataset targeting 3D Gaussian Splatting (3DGS), specifically developed for functional reasoning. This dataset encompasses 23,677 Gaussian instances, 8,354 point cloud instances, and 6,631 manually annotated functional labels, covering 21 object categories and 18 functional types.

原始信息汇总

3DAffordSplat数据集概述

📌 数据集简介

3DAffordSplat是首个针对3D高斯泼溅（3DGS）的 affordance 推理任务构建的大规模多模态数据集，包含23,677个高斯实例、8,354个点云实例和6,631个人工标注的affordance标签，涵盖21个物体类别和18种affordance类型。

📊 数据集组成

• 数据模态：
  • 3D高斯表示（Gaussian）
  • 点云表示（PointCloud）
  • 文本指令模态
• 标注内容：
  • 精细的affordance标注（如contain、grasp等）

📂 数据结构

—Seen ├── train/val/test │ ├── [物体类别] │ │ ├── Gaussian │ │ ├── PointCloud
│ │ ├── [affordance类型] │ │ │ ├── GS_anno_[ID].ply │ │ │ ├── PC_anno_[ID].json —Affordance-Question.csv —obj_aff_structure.json
—UnSeen_test.json —UnSeen_train.json

🔗 数据获取

• 下载地址：
  • HuggingFace
  • Google Drive/Baidu/ModelScope（即将发布）

📝 关键文件

• obj_aff_structure.json：完整物体-affordance配对
• UnSeen_train.json/UnSeen_test.json：未见设置下的数据划分

📜 相关论文

• 论文标题：3DAffordSplat: Efficient Affordance Reasoning with 3D Gaussians
• arXiv链接：https://arxiv.org/abs/2504.11218

搜集汇总

数据集介绍

构建方式

3DAffordSplat数据集作为首个专为3D高斯泼溅（3DGS）技术设计的大规模多模态功能推理数据集，其构建过程体现了严谨的学术规范。研究团队基于23,677个高斯实例和8,354个点云实例，通过专业标注平台SuperSplat对6,631个功能区域进行人工标注，覆盖21类常见物体和18种功能类型。数据集采用分层存储架构，按训练集、验证集和测试集划分，每个对象类别下分别存储高斯表示、点云数据及对应的功能标注文件，确保数据组织的系统性和可追溯性。

特点

该数据集最显著的特征在于其多模态融合的设计理念，同时包含3D高斯表示、点云数据和文本指令三种模态。通过引入3DGS技术特有的连续分布表示，数据集能够捕捉传统点云方法难以获取的细粒度功能特征。特别值得注意的是，数据集专门设计了可见集（Seen）和未见集（UnSeen）两种评估场景，其中UnSeen_test.json和UnSeen_train.json文件为模型泛化能力测试提供了标准化基准，这种设计显著提升了数据集在迁移学习研究中的实用价值。

使用方法

研究人员可通过HuggingFace等平台获取数据集压缩包，解压后按照预设的树状目录结构组织数据。使用前需详细阅读obj_aff_structure.json文件以理解对象-功能对的映射关系。对于功能推理任务，建议先加载高斯表示文件（.ply格式）或点云数据，再结合对应标注文件（GS_anno_*.ply或PC_anno_*.json）进行模型训练。数据集配套提供的Affordance-Question.csv文件包含丰富的文本指令，支持多模态联合训练场景。评估阶段可利用预定义的UnSeen测试集验证模型在未知类别上的泛化性能。

背景与挑战

背景概述

3DAffordSplat数据集由中山大学研究团队于2025年推出，作为首个基于3D高斯泼溅（3DGS）技术的大规模多模态功能性推理数据集，填补了该领域的数据空白。该数据集包含23,677个高斯实例、8,354个点云实例和6,631个人工标注的功能性标签，涵盖21个物体类别和18种功能性类型。其创新性在于将3DGS的高保真渲染特性与功能性推理任务相结合，为具身智能中的精确任务导向操作提供了新的研究范式。数据集通过跨模态结构对齐机制，有效解决了传统点云方法在坐标敏感性和数据稀疏性方面的局限，推动了三维场景理解与机器人操作交互研究的深度融合。

当前挑战

在功能性推理领域，3DAffordSplat需解决的核心挑战包括：如何准确建立三维物体几何特征与人类操作意图之间的映射关系，以及克服点云数据对视角变化的敏感性。数据集构建过程中面临三重技术难点：多模态数据对齐需要精确协调高斯表示与点云的空间一致性；大规模功能性标注需处理语义粒度与标注效率的平衡；跨类别泛化要求设计合理的未见物体评估机制。这些挑战促使研究者开发新型的AffordSplatNet模型，通过结构一致性先验知识来实现不同模态间的特征迁移，最终在保持实时推理速度的同时提升功能性识别精度。

常用场景

经典使用场景

在三维场景理解与交互任务中，3DAffordSplat数据集为基于3D高斯泼溅（3DGS）的功能性推理提供了标准化基准。其多模态特性支持同时处理高斯实例、点云数据及文本指令，尤其适用于虚拟机器人抓取规划、增强现实中的物体操作指导等需要细粒度空间感知的场景。数据集涵盖21类物体和18种功能标签，为模型在复杂环境下的泛化能力验证提供了丰富素材。

实际应用

在智能家居机器人领域，3DAffordSplat支持开发能理解'抽屉拉手'或'杯柄'等功能部件的视觉系统。工业质检中可用于识别机械零件的装配接口，医疗辅助系统则能依据该数据集训练器械抓取点的定位模型。其实时渲染特性更适用于需要低延迟交互的XR应用，如虚拟装配指导中的动态功能提示。

衍生相关工作

基于该数据集提出的AffordSplatNet架构，衍生出多篇关于跨模态表征对齐的改进研究。相关成果发表在CVPR等顶会上，包括融合神经辐射场的功能推理框架、基于扩散模型的功能区域生成方法。数据集本身继承自3DAffordanceNet的标注体系，并启发了后续ScanAffordance等大规模场景级功能数据集的构建。