SAGE-10k

SAGE-10k是一个大规模交互式室内场景数据集，具有真实的布局，由SAGE: Scalable Agentic 3D Scene Generation for Embodied AI中介绍的代理驱动管道生成。该数据集包含10,000个不同的场景，涵盖50种房间类型和风格，以及565K个唯一生成的3D对象。

SAGE-10k is a large-scale interactive indoor scene dataset with realistic layouts, generated via the agent-driven pipeline introduced in *SAGE: Scalable Agentic 3D Scene Generation for Embodied AI*. This dataset contains 10,000 distinct scenes covering 50 room types and styles, as well as 565K uniquely generated 3D objects.

原始信息汇总

SAGE: Scalable Agentic 3D Scene Generation for Embodied AI 数据集概述

数据集基本信息

• 数据集名称：SAGE-10k
• 发布机构：NVIDIA, University of Illinois Urbana-Champaign, Cornell University, Stanford University
• 相关论文：SAGE: Scalable Agentic 3D Scene Generation for Embodied AI
• 论文链接：https://arxiv.org/pdf/2602.10116
• 项目网站：https://nvlabs.github.io/sage/
• 数据集地址：https://huggingface.co/datasets/nvidia/SAGE-10k

数据集简介

SAGE-10k是一个大规模、可交互的室内场景数据集，由论文“SAGE: Scalable Agentic 3D Scene Generation for Embodied AI”中提出的智能体驱动流程生成。该数据集旨在促进具身智能的进一步研究。

数据集规模与内容

• 场景数量：10,000个
• 场景多样性：涵盖50种房间类型和风格
• 3D物体数量：565,000个独立生成的3D物体
• 核心特征：具有真实感的布局

项目代码仓库结构

项目仓库包含以下主要组件，用于场景生成和仿真：

• client/：客户端实现和脚本，是用户启动场景生成、控制流程并与NVIDIA Isaac Sim交互的主要入口。
• server/：核心后端逻辑，包括与基础模型（LLMs, VLMs）、3D资产生成（TRELLIS）、材质合成和场景布局求解器的集成。
• IsaacLab/：与NVIDIA Isaac Lab的集成，为机器人学习和物理交互任务提供仿真环境。
• M2T2/：与M2T2的集成，用于生成接触丰富的操作数据和处理复杂的机器人-物体交互。
• matfuse-sd/：与MatFuse材质生成引擎的集成，用于为3D物体和场景生成高质量的纹理和材质。
• robomimic/：与robomimic的集成，这是一个从演示中学习机器人策略的框架，用于在生成的数据上训练策略。

使用流程概述

1. 启动后端：按照服务器README中的描述，确保所有模型服务器（LLM, VLM, TRELLIS）正在运行。
2. 配置客户端：在客户端目录中设置key.json和环境变量。
3. 运行生成：使用client/scripts/中的脚本来生成场景（例如generate_from_room_desc.sh）或机器人数据。

引用信息

如果本工作对您的研究有帮助，请考虑引用： bibtex @article{xia2026sage, title={SAGE: Scalable Agentic 3D Scene Generation for Embodied AI}, author={Xia, Hongchi and Li, Xuan and Li, Zhaoshuo and Ma, Qianli and Xu, Jiashu and Liu, Ming-Yu and Cui, Yin and Lin, Tsung-Yi and Ma, Wei-Chiu and Wang, Shenlong and Song, Shuran and Wei, Fangyin}, journal={arXiv preprint arXiv:2602.10116}, year={2026} }

搜集汇总

数据集介绍

构建方式

在具身智能领域，构建大规模、高保真的交互式三维场景数据集是推动机器人学习与仿真研究的关键。SAGE-10k数据集采用了一种创新的智能体驱动流水线进行构建，该流程深度融合了大型语言模型、视觉语言模型以及三维生成模型TRELLIS。系统首先解析用户指定的具身任务意图，随后自动规划场景布局，并调用材质合成引擎MatFuse为物体生成高质量纹理，最终在NVIDIA Isaac Sim仿真环境中整合渲染，形成可直接用于物理交互的仿真就绪场景。这一自动化流程高效地生成了涵盖50种房间类型与风格的多样化室内环境。

特点

SAGE-10k数据集以其规模宏大与内容丰富的特点，为具身智能研究提供了宝贵的资源。该数据集包含了整整一万个各具特色的室内场景，并附带了五十六万五千个独立生成的三维物体资产，确保了场景内容的多样性与独特性。其场景设计注重布局的真实性与合理性，覆盖了广泛的房间类型与装饰风格，能够有效支持复杂的机器人交互任务。数据集与NVIDIA Isaac Lab及Robomimic等机器人学习框架深度集成，天生具备支持策略学习与物理仿真的能力，为开发与评估具身智能体提供了高度逼真且可扩展的测试平台。

使用方法

为了充分利用SAGE-10k数据集进行科研探索，使用者需遵循其配套的工作流程。首先需要搭建后端服务器环境，确保大型语言模型、视觉语言模型及三维生成模型的服务正常运行。随后配置客户端，设置必要的环境变量与认证文件，并完成NVIDIA Isaac Sim仿真环境的安装与链接。准备工作就绪后，用户可通过客户端脚本，依据房间描述或特定任务指令启动场景生成。生成的三维场景可直接导入仿真环境，用于机器人导航、操作等任务的训练、验证与可视化分析，从而高效推进具身智能算法的研发进程。

背景与挑战

背景概述

在具身人工智能领域，高质量、大规模且可交互的三维场景数据是推动机器人学习与仿真技术发展的关键基石。SAGE-10k数据集由NVIDIA联合伊利诺伊大学厄巴纳-香槟分校、康奈尔大学及斯坦福大学的研究团队于2026年共同创建，其核心研究问题在于如何通过智能体驱动的框架，根据用户指定的具身任务自动生成仿真就绪的复杂室内环境。该数据集包含一万个多样化场景，涵盖五十种房间类型与风格，并集成了五十六万五千个独特生成的三维物体，为机器人导航、操作及任务规划等研究提供了丰富的仿真基础，显著提升了场景生成的规模与真实性，对推进具身智能的模拟训练与算法验证具有深远影响。

当前挑战

SAGE-10k数据集致力于解决具身人工智能中三维场景生成与交互仿真的核心挑战，其首要难题在于如何确保生成场景的布局合理性与物理真实性，以支持复杂的机器人交互任务。构建过程中，研究团队面临多模态模型协同的复杂性，需整合大型语言模型、视觉语言模型与三维生成模型，以实现从任务意图理解到几何布局生成的连贯流程。同时，大规模场景的多样性与一致性平衡、高保真材质纹理的合成，以及仿真环境与真实物理引擎的无缝对接，均是数据集构建中需要克服的技术障碍。

常用场景

经典使用场景

在具身智能领域，大规模、多样化的仿真环境是训练和评估智能体交互能力的基石。SAGE-10k数据集以其包含的10,000个涵盖50种房间类型与风格的室内场景，以及56.5万个独特生成的3D物体，为机器人导航、物体操作等任务提供了丰富的训练与测试平台。该数据集通过智能体驱动的流程生成，确保了场景布局的合理性与交互可能性，使其成为开发与验证具身智能算法不可或缺的资源。

衍生相关工作

SAGE-10k的发布建立在多项前沿工作的集成与拓展之上。其生成流程融合了大型语言模型（LLM）、视觉语言模型（VLM）的意图理解能力，并集成了如TRELLIS进行3D资产生成、MatFuse进行材质合成等关键技术。同时，该框架与M2T2、robomimic等机器人学习框架的整合，预示了其在生成接触式操作数据、从演示中学习策略等方向上的潜力，为后续研究探索智能体驱动的场景生成与任务学习联合优化开辟了新的路径。

数据集最近研究

最新研究方向

在具身智能领域，大规模、高保真且可交互的三维场景生成是推动机器人自主执行复杂任务的关键基础。SAGE-10k数据集通过智能体驱动框架，自动生成涵盖50种房间类型与风格的万级仿真就绪室内场景，并集成56.5万个独特三维物体，为研究提供了前所未有的规模与多样性。当前前沿探索聚焦于利用该数据集训练通用场景理解与任务规划模型，结合大语言模型与视觉语言模型实现意图到环境的端到端生成，并借助Isaac Lab等仿真平台验证机器人操作策略的泛化能力。这一进展正加速仿真到现实迁移的研究，为家庭服务、工业自动化等场景的智能体开发奠定了高质量数据基石，引领着具身智能向更自主、更实用的方向发展。