scenes-and-worlds

Scenes & Worlds 是一个由 project Sim 团队创建的机器人模拟数据集，包含三个完整的室内场景：卧室、厨房和车库。每个场景以 OpenUSD（Universal Scene Description）格式提供，其中包含一个主场景文件 scene.usd，该文件引用每个物体的独立 USD 资产及其基准颜色纹理。厨房和车库场景额外包含高斯溅射背景（splat.usdz），用于在 RTX 渲染器中呈现真实光照与环境细节。数据集总计 3 个场景，未压缩大小约 556 MB，每个场景的物体数量从约 24 到 50 不等。目录结构清晰，包括预览图、多角度截图（部分场景）、环境光照设置（厨房）以及资产子文件夹。数据集的预期用途包括：全房间背景用于机器人模拟（任务设置、遥操作演示、合成数据生成、背景合成）、场景级物理实验（穿行、碰撞分析、重力仿真）、以及融合摄影环境与程序化资产的管线参考。该数据集在 NVIDIA Isaac Sim 6.0.1 中测试可用。许可协议为 CC BY 4.0，允许自由使用、分享和改编（包括商业用途），需注明出处。Scenes & Worlds is a robotic simulation dataset created by the project Sim team, containing three complete indoor scenes: a bedroom, a kitchen, and a garage. Each scene is provided in OpenUSD (Universal Scene Description) format, with a main scene file scene.usd that references individual USD assets for each object and their base color textures. The kitchen and garage scenes additionally include a Gaussian splat background (splat.usdz) to render realistic lighting and environmental details in the RTX renderer. The dataset contains a total of 3 scenes, with an uncompressed size of approximately 556 MB, and each scene has between 24 and 50 objects. The directory structure is clear, including preview images, multi-angle screenshots (for some scenes), environment lighting settings (for the kitchen), and asset subfolders. Intended uses include: full-room backgrounds for robot simulation (task setup, teleoperation demonstration, synthetic data generation, background composition), scene-level physics experiments (navigation, collision analysis, gravity simulation), and pipeline references combining photographic environments with procedural assets. The dataset has been tested with NVIDIA Isaac Sim 6.0.1. The license is CC BY 4.0, allowing free use, sharing, and adaptation (including commercial purposes) with attribution.

原始信息汇总

Scenes & Worlds 数据集总结

基本信息

• 数据集名称：Scenes & Worlds
• 数据集地址：https://huggingface.co/datasets/projectsim/scenes-and-worlds
• 许可证：CC BY 4.0（可自由使用、分享和改编，包括商业用途，需署名）
• 可见性：私有（private: true）
• 数据规模：n<1K（3 个场景）
• 任务类别：robotics（机器人）
• 标签：robotics、simulation、synthetic-data、usd、openusd、isaac-sim、scenes、gaussian-splatting

数据集概述

面向机器人仿真的全房间 OpenUSD 场景数据集，包含 Bedroom（卧室）、Kitchen（厨房） 和 Garage（车库） 三个场景。每个场景均以自包含的 scene.usd 形式提供，引用带有各自反照率（albedo）纹理的逐对象 USD；对于逼真房间（厨房、车库），还附带高斯泼溅（Gaussian-splat）背景，使环境开箱即用地呈现真实世界的光照与细节。

场景内容一览

场景	对象数量	泼溅背景	未压缩大小	预览
bedroom	~35	—	~131 MB	preview.png
kitchen	~24	✓	~139 MB	preview.png + 3 张截图
garage	~50	✓	~286 MB	preview.png + 3 张截图

合计：3 个场景，未压缩约 556 MB。

单场景目录结构

scenes/<scene>/ ├── scene.usd root stage — references every asset and (when present) the splat ├── environment.usdc (kitchen only) HDRI / lighting rig ├── splat.usdz (kitchen, garage) Gaussian-splat backdrop for the room ├── preview.png input image ├── screenshots/.png (kitchen, garage) additional angles └── assets/ └── <object_name>/ ├── <object_name>.usd └── textures/.png Base color maps

每个场景都是有效的收集型 USD（collected USD）：在 Isaac Sim、Blender 或 usdview 中打开 scene.usd 时，所有引用都会相对于文件夹解析，场景可直接放入使用，无需重写资产搜索路径。

预期用途

• 机器人仿真的全房间背景（任务搭建、遥操作演示、合成数据采集、背景合成）
• 场景级物理实验（漫游、碰撞分析、 populated rooms 上的重力下落）
• 混合程序化资产与照片级环境的流水线参考材料（泼溅背景 + 关节化程序化道具）

已验证的使用环境

• NVIDIA Isaac Sim 6.0.1 — 可直接打开每个 scene.usd；泼溅背景可在 RTX 中渲染。

关于泼溅（Splats）的说明

厨房和车库在 scene.usd 旁附带 splat.usdz。该文件是真实房间的高斯泼溅采集，是在支持 RTX 的渲染器中渲染场景时的推荐背景——它携带了所引用网格不具备的光照与周边细节。泼溅具有简单碰撞。

维护说明

• 新场景以新的顶层 scenes/<scene>/ 文件夹形式添加。
• 场景内的对象文件夹名称在未来提交中保持稳定。
• 问题/疑问：在该数据集仓库发起 Discussion，或发送邮件至 [e-mail]。

在线体验与生成

• 在线预览：数据集中的每个条目均在 projectsim Lab 中实时可用（https://huggingface.co/spaces/projectsim/lab?class=scenes），可让摄像机走过每个房间，然后获取完整 USD（含高斯泼溅）或轻量 GLB 预览。可直接跳转至指定场景：Bedroom、Kitchen、Garage。
• 自行生成：该数据集是 projectsim 流水线的示例输出。可通过 projectsim API 为自己的对象生成可用于仿真的资产：
  • Standard asset — 一张图像输入，输出仿真就绪资产
  • Measured asset — 基于 ChArUco 板采集，毫米级精度
  • Variation sets — 由单个对象生成程序化或高保真系列
• 自助服务：获取 API token 并订购首组资产；若需要某一类别 1,000–10,000 个资产，可申请更大数据集。

搜集汇总

数据集介绍

构建方式

该数据集由projectsim API管线自动生成，属于合成数据驱动下的机器人仿真场景资源。构建流程始于真实环境的图像捕捉，通过API将输入影像转化为符合OpenUSD规范的仿真就绪资产。卧室场景完全依赖程序化对象组装，而厨房与车库则在程序化网格之外，叠加了基于高斯泼溅技术采集的真实房间背景，形成混合式场景表示。每个场景均以`scene.usd`为根阶段，内部引用各对象的独立USD文件及其反照率纹理，并附带环境光照绑定与纹理贴图，最终封装为可独立解析的采集型USD目录。

特点

该数据集涵盖卧室、厨房、车库三类完整房间，分别包含约35、24与50个对象，未压缩总容量达556 MB。其突出特征在于将传统USD网格资产与高斯泼溅背景有机融合：厨房与车库不仅提供带纹理的独立对象模型，还附带真实房间的高斯泼溅捕捉文件，使环境在RTX渲染器中能够呈现真实光照与边缘细节。所有场景均为自包含的采集型USD，打开根阶段即可解析全部引用，无需资产检索重写，兼顾了物理仿真的结构化需求与视觉渲染的拟真度。

使用方法

使用者可直接在NVIDIA Isaac Sim 6.0.1中打开各场景的`scene.usd`，高斯泼溅背景将在RTX模式下渲染。数据集支持在Blender或`usdview`中查看，亦可通过projectsim Lab在浏览器中实时漫游每个房间，预览后再决定下载完整USD或轻量GLB。典型用途包括机器人仿真的全房间背景搭建、任务设置、遥操作演示与合成数据采集，以及场景级物理实验如碰撞分析与重力测试。该数据集遵循CC BY 4.0许可，可自由使用、共享与改编，包括商业用途，仅需注明出处。

背景与挑战

背景概述

伴随具身智能与机器人学习对高保真仿真环境的迫切需求，ProjectSim团队构建了scenes-and-worlds数据集，涵盖卧室、厨房与车库三类完整室内场景。该数据集以OpenUSD格式封装，融合高斯泼溅背景技术，为机器人操作、合成数据采集与场景级物理实验提供即用型仿真素材。其核心研究问题在于弥合真实环境与仿真资产之间的视觉与物理鸿沟，通过照片级背景与程序化对象的混合，增强仿真场景的逼真度与任务多样性。该数据集对机器人仿真、合成数据生成及混合现实管线具有重要参考价值。

当前挑战

该数据集所着力解决的领域问题在于，传统仿真场景因光照失真、细节匮乏而与真实环境存在显著域差，制约了策略迁移与感知泛化。构建过程中，团队需应对多源数据的对齐与集成难题：将高斯泼溅捕获的真实房间背景与独立建模的物体统一到同一USD舞台，需解决尺度、坐标系与材质一致性问题；同时，维持场景自包含性并兼容Isaac Sim等主流仿真器，要求引用路径与纹理资源严格组织；此外，在保证物理碰撞有效的同时平衡文件体积，亦构成技术挑战。

常用场景

经典使用场景

在机器人仿真与具身智能研究领域，构建兼具物理真实感与视觉保真度的虚拟环境始终是核心基础设施需求。scenes-and-worlds数据集以三个完整的室内房间——卧室、厨房与车库——为基本单元，每个场景均以自包含的OpenUSD格式组织，涵盖约24至50个带有独立纹理的物体资产。其最经典的使用场景在于为机器人操作任务提供整屋级别的仿真舞台，研究者可将scene.usd直接载入Isaac Sim或Blender，无需重写资产搜索路径即可开展任务规划、遥操作演示与合成数据采集。厨房与车库场景附带的Gaussian-splat背景进一步赋予环境以真实世界的光照与边缘细节，使仿真渲染结果在RTX管线中呈现出接近实拍的视觉品质。

解决学术问题

长期以来，机器人仿真研究面临资产碎片化与环境割裂的困境：单一物体资产难以支撑场景级任务，而扫描重建的场景又缺乏可交互的物理结构。scenes-and-worlds以收集式USD的方式弥合了这一裂隙，将程序化生成的带纹理网格与真实房间的高斯溅射背景融合于同一舞台。这一设计有效回应了仿真到现实迁移中的视觉域偏移问题，为场景级物理实验——如穿行测试、碰撞分析与重力下落——提供了可复现的基准环境。其意义在于降低了整屋仿真环境的搭建门槛，使学术团队得以将精力聚焦于算法本身，而非资产管线的琐碎工程。

衍生相关工作

作为projectsim管线的样本输出，scenes-and-worlds直接催生了一系列围绕生成式资产与仿真环境构建的后续工作。其API体系衍生出标准资产、测量资产与变体集三条产品线，支撑了从单图输入到仿真就绪资产的自动化转换流程。数据集所倡导的高斯溅射背景与程序化道具混合范式，为后续混合现实环境的研究提供了参照。与此同时，该数据集在HuggingFace Spaces上的实时预览应用，亦成为数据集交互式呈现的实践案例，启发了更多面向机器人仿真的开放场景库建设。