Streaming3D

Streaming3D数据集是为Streaming3D基准测试提供的资产集合。当前发布的版本为GSO30子集，这是一个包含30个常见家居物品（如闹钟、背包、积木、大象、鞋子、沙发、茶壶等）的3D对象数据集，其对象源自Google Scanned Objects。每个对象均提供完整的3D资产：包括原始网格文件（.glb, .obj）、材质文件（.mtl）和纹理（.png）。数据集的核心是为3D重建与视图合成任务构建的标准化训练与评估流水线。具体包含两个主要渲染集：1) `render_spiral_100`：提供围绕对象的100个螺旋视角的RGB图像（000.png-099.png）、对应的对象掩码（masks/）以及详细的相机变换参数（transforms.json和.npy文件），用于模型训练或重建。2) `render_mvs_25`：提供经过归一化处理的网格模型（model_norm.glb）以及25个固定视角的相机参数（.npy文件）和对应的参考渲染图（.png文件），用于模型性能的定量评估。数据集的使用协议明确：使用`render_spiral_100`中的所有图像进行训练或重建，然后使用`render_mvs_25`中的归一化模型和25个相机位姿进行评估和对比。

The Streaming3D dataset is an asset collection provided for the Streaming3D benchmark. The current released version is the GSO30 subset, which is a 3D object dataset containing 30 common household items (such as alarm clocks, backpacks, building blocks, elephants, shoes, sofas, teapots, etc.), with objects sourced from Google Scanned Objects. Each object provides complete 3D assets: including original mesh files (.glb, .obj), material files (.mtl), and textures (.png). The core of the dataset is to build a standardized training and evaluation pipeline for 3D reconstruction and view synthesis tasks. Specifically, it includes two main rendering sets: 1) `render_spiral_100`: provides 100 spiral-view RGB images around the object (000.png-099.png), corresponding object masks (masks/), and detailed camera transformation parameters (transforms.json and .npy files), for model training or reconstruction. 2) `render_mvs_25`: provides a normalized mesh model (model_norm.glb), along with 25 fixed-view camera parameters (.npy files) and corresponding reference renderings (.png files), for quantitative evaluation of model performance. The dataset usage protocol is clear: use all images in `render_spiral_100` for training or reconstruction, and then use the normalized model and 25 camera poses in `render_mvs_25` for evaluation and comparison.

搜集汇总

数据集介绍

构建方式

Streaming3D数据集为三维视觉领域内的流式处理与基准测试任务提供了系统性支撑。该数据集通过整合多个公开子集构建而成，涵盖DL3DV、GSO30、NAVI以及完整GSO四个模块。DL3DV子集包含来自原始数据集的16个室内外场景，每个场景均提供COLMAP重建输出、DA3格式数据、原始图像及SAM3分割掩码。GSO30子集从Google Scanned Objects中精选30个日常物体，每个物体均配备100张螺旋渲染图像、对应掩码与相机参数，并包含25视角的评估序列。完整GSO部分则囊括1032个物体的渲染数据。NAVI子集专为导航场景设计，划分为困难与普通两个难度等级。整个数据集通过HuggingFace仓库提供按需下载机制，用户可独立获取各子集而无需下载全量数据。

使用方法

使用Streaming3D数据集时，研究者可通过HuggingFace命令行工具按需下载指定子集，避免全量传输造成的带宽与存储浪费。以GSO30为例，典型使用流程为先从螺旋渲染图像目录加载全部100张图像及对应掩码，结合transformers.json或.npy格式的相机姿态文件进行训练或三维重建。在评估阶段，则基于render_mvs_25目录下的归一化GLB模型与25组相机参数，渲染结果并与同目录下的参考图像进行比对分析。对于DL3DV子集，可直接访问其COLMAP输出与split.json划分文件进行场景级任务实验。NAVI子集则依据其提供的场景难度分组与评估源码进行导航性能测试。整体上，该数据集提供清晰的组织架构与标准化流程，便于快速集成至现有三维视觉与生成式工作流中。

背景与挑战

背景概述

Streaming3D数据集由WalkerCH研究团队于近年创建，旨在为三维视觉领域提供一套标准化、多场景的流式处理基准测试平台。该数据集整合了DL3DV中的16个室内外场景、谷歌扫描物体（GSO）的1032个物体及其30物体子集，以及NAVI导航评估数据集，共计超过13万份文件。核心研究问题聚焦于探索在三维数据流式传输与实时重建场景下，算法对多样化物体形态、复杂光照环境及动态导航任务的适应能力。通过统一数据格式与评估协议，Streaming3D显著推动了三维重建、新视图合成及导航感知等子方向的可重复性研究，成为检验算法从离线处理向流式交互演进的关键基准。

当前挑战

当前Streaming3D面临的核心挑战包括：领域问题层面，三维场景的稀疏观测与完整几何重建之间存在根本矛盾，尤其是弱纹理表面、高光反射及透明物体导致的多视角一致性失效；流式处理需解决数据到达顺序与实时性约束下的算法鲁棒性退化难题。构建过程中，跨数据集集成面临坐标系统一、光照归一化及遮挡掩码对齐等工程挑战，例如GSO物体渲染螺旋轨迹与NAVI导航轨迹的视角覆盖差异，需通过相机变换校准与掩码补偿实现兼容。此外，大规模数据存储与按需下载机制需平衡传输效率与基准完整性，避免子集选择偏差影响评测公平性。

常用场景

经典使用场景

Streaming3D数据集专为三维视觉领域的高效重建与实时渲染任务而设计，其经典使用场景聚焦于新视角合成与稀疏视角下的三维场景重建。该数据集整合了来自DL3DV的真实室内外场景、Google Scanned Objects（GSO）中的高保真物体模型以及NAVI导航评估序列，为研究者在非结构化环境中探索从多视图图像到连续三维表示的映射关系提供了标准化的测试平台。通过提供完整的COLMAP重建输出、SAM3分割掩码以及螺旋轨迹的多视角渲染数据，Streaming3D使得研究者能够系统性地评估不同算法在复杂光照、遮挡和几何变化条件下的泛化能力与鲁棒性。

解决学术问题

该数据集着力解决三维视觉领域长期面临的基准不统一与评估结果难以复现的学术困境。通过构建包含不同复杂度场景的多子集体系，Streaming3D为稀疏视图重建、动态场景流估计以及即时辐射场优化等前沿课题提供了可量化的比较框架。其精心设计的训练/测试分割协议与标准化的相机变换参数，使得研究者能够剥离数据处理差异对算法性能的影响，从而精准剖析神经渲染模型在几何精度、视角外推以及资源受限环境下的表现瓶颈。这一规范的基准体系促进了该领域从定性展示向定量分析的范式转变，推动了可重复科学研究的进步。

实际应用

在实际应用中，Streaming3D数据集所支撑的三维重建技术正深度赋能增强现实、数字孪生与自动化巡检等产业领域。例如，基于该数据集中GSO30子集的螺旋渲染数据，开发者可以训练轻量级神经渲染引擎，使移动端设备能够从稀疏图像快速生成物体的高保真三维模型，从而支持电商平台的交互式商品展示或文化遗产的虚拟修复。此外，NAVI子集的导航评价数据则为机器人自主探索与场景理解提供了参考基准，使智能体能够在复杂真实环境中通过连续渲染更新动态环境地图，显著提升了仓储物流与无人驾驶等应用中场景感知的实时性与可靠性。

数据集最近研究

最新研究方向

Streaming3D数据集作为3D视觉领域的前沿基准，深度契合了实时三维重建与流式处理的热点趋势。该数据集整合了DL3DV的多场景真实世界数据、Google Scanned Objects的精细物体模型以及NAVI的导航评估环境，为研究者在动态场景下的稀疏视角渲染、物体级三维理解及大规模导航任务提供了标准化测试平台。其模块化子集设计支持灵活的实验配置，尤其促进了从静态物体重建到复杂运动场景的过渡研究，呼应了当前对跨域泛化能力与实时交互性能的迫切需求。通过提供统一的COLMAP重建、掩码分割及多视角渲染管线，Streaming3D显著降低了实验复现门槛，推动了流式三维感知技术在增强现实与自主机器人领域的应用落地。