Event6DBlender

Event6DBlender是一个用于训练Event6D（CVPR 2026）模型中深度外推网络的合成数据集。它包含由BlenderProc渲染的合成图像和由ESIM模拟的事件流，是“easy”子集，即实际用于发布训练运行的数据。数据集内容包括RGB图像（每序列约120帧，分辨率480×640）、16位度量深度图、物体可见性掩码、每帧相机内参（K矩阵）和物体6D位姿（旋转矩阵R和平移向量t），以及原始事件数据（以.npz格式存储，包含x、y、t、p字段）。数据来源于1035个Google Scanned Objects（GSO）网格模型（采用CC-BY 4.0许可）。在数据规模上，训练集包含2068个序列（其中714个为easy子集，1354个为medium子集），测试集包含590个序列（其中204个为easy子集，386个为medium子集），发布的模型检查点仅使用easy子集进行训练。该数据集专为基于事件的6D物体姿态估计和跟踪任务设计，适用于计算机视觉和机器人领域的研究。

Event6DBlender is a synthetic dataset for training the depth extrapolation network in the Event6D (CVPR 2026) model. It contains synthetic images rendered by BlenderProc and event streams simulated by ESIM. This dataset is the easy subset, which is the data actually used for publishing training runs. The dataset content includes RGB images (approximately 120 frames per sequence, resolution 480×640), 16-bit metric depth maps, object visibility masks, per-frame camera intrinsics (K matrix), and object 6D poses (rotation matrix R and translation vector t), as well as raw event data (stored in .npz format with x, y, t, p fields). The data is sourced from 1035 Google Scanned Objects (GSO) mesh models (under CC-BY 4.0 license). In terms of data scale, the training set contains 2068 sequences (with 714 from the easy subset and 1354 from the medium subset), and the test set contains 590 sequences (with 204 from the easy subset and 386 from the medium subset). The released model checkpoints are trained only on the easy subset. This dataset is specifically designed for event-based 6D object pose estimation and tracking tasks, suitable for research in computer vision and robotics.

原始信息汇总

数据集概述

Event6DBlender 是一个用于事件相机（event camera）的合成训练数据集，专为深度外推网络设计，支撑 CVPR 2026 论文《Event6D: Event-based Novel Object 6D Pose Tracking》。该数据集包含了 Blender 渲染的 RGB 图像、深度图、可见性掩码以及模拟事件流。

基本信息

• 许可证: CC-BY-NC 4.0
• 任务类型: 目标检测
• 标签: 6D位姿、事件相机、合成数据、Blender、GSO
• 数据规模: 100GB ~ 1TB

数据集结构

Event6DBlender/ ├── train.txt # 训练集文件列表（2068个序列：714个easy + 1354个medium） ├── test.txt # 测试集文件列表（590个序列：204个easy + 386个medium） ├── gso/<obj_id>/... # 1035个Google Scanned Objects网格文件（CC-BY 4.0协议） ├── EvBlenderProc/.../ # 渲染图像数据 │ ├── rgb/<frame>.png # 每序列120帧RGB图像（480×640） │ ├── depth/<frame>.png # 16位深度图（缩放因子见scene_camera.json） │ ├── mask/<frame><obj>.png # 对象掩码 │ ├── mask_visib/<frame><obj>.png # 可见对象掩码（数据加载器使用） │ ├── scene_camera.json # 每帧相机内参K │ ├── scene_gt.json # 每帧所有对象的旋转R和平移t │ ├── scene_gt_coco.json # COCO格式标注 │ └── scene_gt_info.json # 额外标注信息 └── EvBlenderProcEv/.../ # 模拟事件流数据 └── 0001.npz, 0002.npz, ... # 每个帧间间隔的事件数据（结构：x, y, t, p）

• 每个序列约包含：120帧RGB + 120帧深度 + 约30个事件流文件
• 总序列数：714个easy子集序列

数据集划分

• 训练集: 2068个序列（714个easy + 1354个medium）
• 测试集: 590个序列（204个easy + 386个medium）
• 论文发布的检查点仅使用 easy 子集；medium子集托管在 Event6DBlenderMedium

下载方式

使用以下命令下载数据集：

bash huggingface-cli download mickeykang/Event6DBlender --repo-type dataset --local-dir ./data/Event6DBlender

磁盘空间说明

首次运行训练流程时，会在事件数据旁生成体素网格缓存（EvBlenderProcEv_cache/），占用约90GB。缓存是可丢弃的，删除后可随时释放空间。

数据来源与归属

• GSO网格文件: Google Scanned Objects — 由Google Research发布，遵循CC-BY 4.0协议
• 渲染工具: BlenderProc
• 事件模拟: ESIM（UZH-RPG）

引用

如使用该数据集，请引用以下论文：

bibtex @inproceedings{kang2026event6d, title = {Event6D: Event-based Novel Object 6D Pose Tracking}, author = {Kang, Jae-Young and Cho, Hoonehee and Lee, Taeyeop and Kang, Minjun and Wen, Bowen and Kim, Youngho and Yoon, Kuk-Jin}, booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)}, year = {2026} }

搜集汇总

数据集介绍

构建方式

Event6DBlender数据集通过合成渲染与事件流模拟技术构建，其核心基于BlenderProc管线生成高质量的多视图RGB-D图像，并结合ESIM模拟器将帧间视觉变化转化为事件流。数据源自Google Scanned Objects中的1035个真实物体网格，每个序列包含约120帧480×640分辨率的RGB与深度图像，以及对应的事件文件。所有帧均提供精确的相机内参、六自由度位姿标注及可见性掩码，确保训练数据的几何完整性与物理一致性。

特点

该数据集专为事件相机下的6D姿态追踪任务设计，其显著特点在于完整覆盖了从合成渲染到事件模拟的全链路数据，包括每帧的度量深度、可见性掩码和多对象位姿标注。数据集按难度划分为'easy'与'medium'子集，其中'easy'子集包含714个训练序列，被官方预训练模型直接采用。事件数据以压缩的npz格式存储，包含时空坐标与极性信息，便于灵活的事件表示转换与缓存复用。

使用方法

数据集可通过HuggingFace CLI直接下载至本地，训练管线在首次运行时会自动在事件数据旁生成体素网格缓存（约90GB），该缓存可安全删除以释放存储空间。推荐使用官方提供的train.txt与test.txt划分文件加载序列，其中dataloader已硬编码'easy'类别过滤。用户需依次处理RGB、深度、掩码及事件文件，结合scene_camera.json与scene_gt.json获取帧内参数与位姿真值。

背景与挑战

背景概述

Event6DBlender数据集由韩国科学技术院（KAIST）的Jae-Young Kang、Kuk-Jin Yoon等研究人员于CVPR 2026年发布，旨在解决基于事件相机的6D姿态追踪问题。该数据集通过Blender渲染引擎生成合成图像，并利用ESIM模拟器模拟事件流，创建了包含714个序列的“easy”子集，涵盖1035个来自Google Scanned Objects的3D模型。其核心研究问题在于利用事件相机的异步、高时间分辨率特性，实现未知物体的6D姿态追踪。该数据集为事件视觉与3D姿态估计领域的交叉研究提供了标准化训练基准，推动了高动态场景下物体追踪技术的发展。

当前挑战

该数据集所应对的领域挑战在于：传统基于帧的RGB相机在高动态范围或快速运动场景中容易产生运动模糊，而事件相机虽能捕捉微小灰度变化，却难以直接用于稠密姿态估计，现有方法多依赖预训练物体模型，缺乏对新物体的泛化能力。在构建过程中，数据集面临合成数据与现实环境之间域差异的挑战，包括光照、纹理和事件噪声模式的差异；此外，生成高质量事件数据需要精确模拟传感器特性，而大规模渲染包含事件流的多模态数据（120帧RGB、深度与事件文件）也带来了存储空间巨大（超100GB）和计算开销高的难题。

常用场景

经典使用场景

Event6DBlender数据集专为基于事件相机的6D姿态追踪任务而设计，在计算机视觉与机器人领域具有典型应用。该数据集通过BlenderProc渲染引擎生成合成RGB-D图像，并利用ESIM模拟器将其转化为事件流，同步提供精确的物体姿态标注（旋转矩阵R与平移向量t）。其涵盖1035个来自Google Scanned Objects的多样化日常物体，每个序列包含120帧RGB图像、深度图及对应事件数据，以“easy”子集形式呈现，为事件驱动下的新颖物体6D姿态跟踪方法提供了标准化训练与评估基准。

衍生相关工作

基于Event6DBlender数据集，衍生出多个开创性研究工作。其核心成果Event6D系统在CVPR 2026发表，首次提出利用事件流进行零样本新颖物体6D姿态追踪的深度外推网络架构。此外，配套发布的Event6DBlenderMedium扩展子集为中等难度场景的基准测试提供了数据支撑，后续研究可在此基础上探索事件-帧融合策略、域自适应方法及更高效的事件表征技术，进一步拓宽事件视觉在动态感知中的理论边界。

数据集最近研究

最新研究方向

Event6DBlender数据集面向事件相机驱动的6D姿态追踪前沿，通过Blender渲染合成数据与ESIM事件流模拟技术，构建了大规模、高保真的训练资源，支撑了CVPR 2026发表的Event6D深度外推网络。该工作突破传统RGB相机在高速动态、低光照场景下的感知瓶颈，利用事件相机的异步、高时间分辨率特性，在GSO物体模型上实现无需预训练的新颖物体6D姿态持续跟踪。数据集涵盖714条序列的超精细化渲染与事件对齐，为事件视觉与3D几何融合提供了标准化基准，推动了机器人抓取、增强现实等实时交互场景下的跨模态感知研究演进。