3DIEBench-T

3DIEBench-T数据集是3DIEBench的扩展版本，包含了旋转和翻译变换，用于评估在多几何3D变换下的表示方法。该数据集由52,472个3D物体实例组成，涵盖了55个类别，并从ShapeNetCoreV2中获取，每个实例都有50个均匀采样的视图。数据集旨在挑战现有方法，推动基于胶囊网络的无预测器架构的发展，以更好地理解和处理变换信息。

The 3DIEBench-T dataset is an extended variant of 3DIEBench, integrating rotational and translational transformations to evaluate representation learning methods under various geometric 3D transformations. Consisting of 52,472 3D object instances spanning 55 categories, the dataset is sourced from ShapeNetCoreV2, with each instance equipped with 50 uniformly sampled views. This benchmark is designed to challenge existing methodologies and advance the development of predictor-free capsule network-based architectures for better understanding and processing of transformation information.

原始信息汇总

EquiCaps数据集概述

数据集基本信息

• 名称: 3DIEBench-T
• 类型: 3D图像数据集（包含物体旋转和平移信息）
• 发布机构: University of Aberdeen等机构联合发布
• 许可证:
  • 代码: GPL v3.0 License
  • 数据集: CC-BY-NC 4.0 License
• 获取地址: https://huggingface.co/datasets/athenacon/3DIEBench-T

数据集特点

• 扩展自3DIEBench数据集，新增了物体平移信息
• 用于评估不变性和等变性表示
• 支持多几何等方差学习（旋转和平移）

预训练模型

骨干网络	数据集	优化目标	下载链接	Top-1准确率(%)	旋转预测(R²)	平移预测(R²)
ResNet-18	3DIEBench	旋转	https://github.com/AberdeenML/EquiCaps/releases/download/v1.0-ckpts/EquiCaps_3DIEBench.pth	83.24	0.78	-
ResNet-18	3DIEBench-T	旋转	https://github.com/AberdeenML/EquiCaps/releases/download/v1.0-ckpts/EquiCaps_3DIEBenchT_only_rotation.pth	76.91	0.73	0.60 (物体框架) 0.88 (基础框架)
ResNet-18	3DIEBench-T	旋转和物体框架平移	https://github.com/AberdeenML/EquiCaps/releases/download/v1.0-ckpts/EquiCaps_3DIEBenchT_with_object_transl.pth	78.25	0.71	0.62 (物体框架)
ResNet-18	3DIEBench-T	旋转和基础框架平移	https://github.com/AberdeenML/EquiCaps/releases/download/v1.0-ckpts/EquiCaps_3DIEBenchT_with_base_transl.pth	77.88	0.71	0.91 (基础框架)

评估任务

1. 分类任务
2. 旋转预测
3. 平移预测（物体框架和基础框架）
4. 颜色预测

相关论文

• 标题: EquiCaps: Predictor-Free Pose-Aware Pre-Trained Capsule Networks
• 作者: Konstantinou, Athinoulla等
• arXiv: https://arxiv.org/abs/2506.09895
• 年份: 2025

技术要求

• 主要依赖: PyTorch, Numpy, PIL, Tensorboard, Scipy

搜集汇总

数据集介绍

构建方式

3DIEBench-T数据集是基于3DIEBench的扩展版本，旨在通过引入平移变换来增强对多几何变换下表示学习方法的评估能力。该数据集构建过程中，采用了52,472个来自ShapeNetCoreV2的3D对象实例，涵盖55个类别。每个实例通过Blender-Proc生成50个均匀采样的视图，确保在指定的旋转和平移范围内进行多样化渲染。数据生成过程中，严格遵循原始3DIEBench的协议，以确保新增的平移变换不会引入其他变量干扰。最终生成的图像分辨率为256×256像素，并附带相应的变换参数作为潜在信息，便于后续的等变任务评估。

使用方法

3DIEBench-T数据集的使用方法主要包括三个步骤：首先，利用数据集进行自监督预训练，学习不变和等变的表示；其次，通过线性评估协议在冻结的表示上训练分类层，评估不变性；最后，使用多层感知机（MLP）回归变换参数，评估等变性。数据集中提供的变换参数可用于直接验证模型的等变性能。此外，用户还可以通过最近邻检索和潜在空间操作等定性方法，直观展示模型的等变性和不变性。数据集的代码、权重和生成协议均已公开，便于复现和进一步研究。

背景与挑战

背景概述

3DIEBench-T数据集由阿伯丁大学和林肯大学的研究团队于2025年提出，作为3DIEBench基准数据集的扩展版本。该数据集聚焦于三维视觉领域的等变表示学习，通过引入平移变换与旋转变换相结合的复合几何变换，构建了一个包含52,472个三维物体实例的多视角渲染图像库。其核心研究价值在于解决了传统自监督学习方法在复杂几何变换下泛化能力不足的问题，为评估模型在SE(3)群变换下的等变性和不变性提供了标准化测试平台。数据集基于ShapeNetCoreV2的55个物体类别构建，采用Blender-Proc渲染引擎生成260万张分辨率256×256的图像，每张图像均精确标注了物体在基坐标系和物体坐标系下的位姿参数。

当前挑战

3DIEBench-T面临的挑战主要体现在两个维度：在领域问题层面，该数据集旨在解决三维物体在复合几何变换下的等变表示学习难题，包括旋转和平移变换的联合建模、视角不变特征的提取，以及几何变换参数的可解释性预测等核心问题；在构建过程层面，研究团队需要克服多坐标系参数同步标注、光照条件控制以避免阴影泄露位姿信息、物体平移范围约束防止出镜等技术挑战。此外，数据集的扩展性要求兼容不同层级的几何变换（如SO(3)到SE(3)），同时保持与原始3DIEBench的评估协议兼容，这对数据生成管线的设计提出了较高要求。

常用场景

经典使用场景

3DIEBench-T数据集在计算机视觉领域主要用于评估自监督学习方法在三维物体姿态估计任务中的性能。该数据集通过引入多几何变换（如旋转和平移）来挑战模型在复杂场景下的泛化能力，特别适用于研究等变表示学习。经典使用场景包括模型在旋转和平移预测任务中的表现评估，以及在不同几何变换下保持等变性的能力测试。

解决学术问题

3DIEBench-T解决了自监督学习中如何有效学习等变表示的关键问题。传统方法通常依赖于预测器架构来编码等变性，而该数据集通过胶囊网络的固有姿态感知能力，提供了一种无需预测器的解决方案。这不仅简化了模型架构，还提高了在复杂几何变换下的性能，为等变表示学习提供了新的研究方向。

实际应用

在实际应用中，3DIEBench-T数据集可用于自动驾驶、机器人导航和增强现实等领域，这些场景需要对物体的三维姿态进行精确估计。例如，在自动驾驶中，车辆需要准确感知周围物体的位置和方向，而该数据集提供的多几何变换评估能力可以帮助开发更鲁棒的感知算法。

数据集最近研究

最新研究方向

在计算机视觉领域，3DIEBench-T数据集的推出标志着自监督学习在几何变换建模方面的重要进展。该数据集通过整合平移变换与旋转变换，构建了首个支持多几何SE(3)变换评估的基准测试平台，为探索胶囊网络在姿态感知表征学习中的固有优势提供了实验基础。最新研究表明，基于EquiCaps框架的预测器无关架构在旋转预测任务中达到了0.78的监督级R2分数，较传统预测器依赖方法提升0.04-0.05，其4×4姿态矩阵的显式操作机制为自动驾驶等需要精确空间推理的场景提供了可解释的解决方案。该数据集通过2,623,600张经过严格参数化控制的渲染图像，推动了三维物体理解从单一SO(3)变换向更复杂的SE(3)群变换研究的范式转变，相关成果已被应用于机器人抓取和增强现实系统的姿态估计模块开发。

相关研究论文

• EquiCaps: Predictor-Free Pose-Aware Pre-Trained Capsule Networks

  阿伯丁大学 · 2025年