agentic-3d-worlds

Agentic 3D Worlds 是一个包含3D物体代理轨迹的数据集，主要使用Blender及其Python接口bpy进行建模。每个样本包括创建代码、对应的.blend场景文件、自包含的GLB导出文件以及渲染预览图。数据集旨在支持3D对象生成、代码生成、场景理解等任务。数据以parquet格式存储，每个运行实例包含一个简短描述性标题，并已移除个人数据和来源标识。数据集还提供了查看器，用于显示渲染预览和GLB文件路径。Agentic 3D Worlds is a dataset containing trajectories of 3D object agents, mainly modeled using Blender and its Python interface bpy. Each sample includes creation code, corresponding .blend scene file, self-contained GLB export file, and rendered preview image. The dataset aims to support tasks such as 3D object generation, code generation, and scene understanding. Data is stored in parquet format, each run instance contains a short descriptive title, and personal data and source identifiers have been removed. A viewer is also provided to display rendered preview and GLB file paths.

原始信息汇总

Agentic 3D Worlds 数据集详情

数据集概览

• 名称：Agentic 3D Worlds
• 语言：英语（en）
• 主要领域：3D 建模、Blender、智能体轨迹数据

内容描述

该数据集包含使用 Blender 及其 bpy 模块建模的3D物体的智能体运行轨迹（Agent traces），并与以下配套文件一同提供：

• 对应的创建代码
• .blend 场景文件
• 自包含的 GLB 导出文件
• 渲染预览图

数据结构

• 配置名称：default
• 数据文件路径：runs/*/viewer.parquet
• 数据划分：train（训练集）

贡献方式

数据集支持通过名为 "Share 3D World Agent Run" 的 GitHub 技能进行贡献。该技能负责：

• 收集智能体运行文件
• 移除个人身份信息（PII）
• 验证文件有效性
• 在用户确认后提交 Pull Request

贡献者无需执行终端命令或数据集配置操作。每个贡献的运行记录均使用简短描述性标题，并省略个人数据和来源标识，同时附有捕获限制和工件许可证说明。

查看器功能

数据集的查看器可展示渲染预览和 GLB 文件路径。

搜集汇总

数据集介绍

构建方式

该数据集的构建依托于Blender及其Python接口bpy，系统性地采集了三维对象建模的智能体轨迹。每一运行轨迹均与对应的生成代码、.blend场景文件、自包含的GLB导出文件及渲染预览图紧密配对。数据集的扩充遵循一套标准化流程，即通过一项专门的技能来收集、脱敏（清除个人身份信息）并验证这些文件，经用户确认后以Pull Request的形式合入，从而确保数据的合规性与可追溯性。

特点

该数据集的核心特色在于其多维度的信息整合能力，它将智能体的操作轨迹、底层实现代码、完整的3D场景以及可供交互的GLB模型统一于一体，为研究智能体在三维创作环境中的行为模式提供了前所未有的细粒度视角。每个条目均采用简明标题，避免包含个人数据与来源标识，同时辅以捕获限制与许可证信息，保障了数据集的规范性、伦理性和法律合规性。

使用方法

使用者可借助数据集内置的可视化工具，浏览渲染预览并定位GLB文件路径，从而快速理解每个轨迹的产出。对于研究智能体任务规划、程序化建模等方向的学者，该数据集可直接用于训练和评估算法，例如通过分析轨迹与代码的映射关系，或利用.blend与GLB文件作为仿真环境中的基础资源。其配套的贡献技能亦说明，用户能够遵循既定协议向此数据集中添加新数据，促进该资源的持续演进。

背景与挑战

背景概述

随着生成式人工智能与三维建模技术的交叉融合，程序化生成在数字内容创作中的地位日渐凸显。Agentic 3D Worlds数据集于近期构建，由以Suvaditya Muk为代表的开发者社区贡献，其核心研究问题在于捕捉智能体在Blender（bpy）环境中建模三维对象的完整轨迹，并系统性地关联创建代码、场景文件及可移植的GLB导出。该数据集借助GitHub协作机制与自动化技能流程，实现了轨迹数据的高效收集与质量验证，为研究具身智能体在复杂设计任务中的决策过程提供了独特的资源。其对领域的影响在于，填补了从设计意图到代码实现之间行为数据缺失的空白，有望推动多模态学习、人机协同建模及程序化内容生成技术迈向新阶段。

当前挑战

该数据集面临的挑战集中于领域问题和构建过程两个层面。领域内，三维建模现有数据集多静态呈现成品，缺乏过程性行为记录，难以支撑对智能体规划、修正及技能迁移的深层探究，这构成首要困境。构建层面，如何从纷繁的操作流中精准清除个人身份信息与源头标识，同时确保每项贡献附带准确的许可与局限说明，考验着数据治理的精细程度。此外，融合多源异质文件（代码、.blend场景、GLB及渲染图）并维持其一致性，要求设计稳健的验证管线；而Runs的短标题命名与元数据规范化，亦需在描述力与简洁性之间寻求平衡，这些均对本数据集的持续扩充与可用性构成切实挑战。

常用场景

经典使用场景

Agentic 3D Worlds数据集聚焦于智能体在三维建模环境中的交互轨迹，其经典使用场景在于训练和评估具备空间理解与操作能力的具身智能体。研究者可借助该数据集中的Blender场景、GLB模型及对应的创建代码，构建模拟环境，用于开发能够自主完成三维物体建模、场景布局或动态交互的强化学习模型。数据集的轨迹记录形式，使得模仿学习成为可能，让模型能够从人类或程序的建模操作中提取策略，进而实现对复杂三维任务的自动化处理。

衍生相关工作

围绕Agentic 3D Worlds，可衍生出多项相关研究，例如开发面向三维建模的智能体策略网络，探索将Blender操作参数化以应用于程序化内容生成；也可构建基于场景图的语义理解模型，提升对三维世界状态的可解释性。此外，利用该数据集可开展多智能体协作建模的研究，或将其与自然语言指令结合，形成多模态学习基准，进而推动智能体在复杂环境中的通用性问题解决能力的发展。

数据集最近研究

最新研究方向

该数据集聚焦于三维内容生成与智能体交互的前沿交叉领域，通过捕获智能体在Blender中的建模操作轨迹，为具身智能与程序化内容生成（PCG）研究提供细粒度的行为数据。其创新之处在于将复杂的三维建模过程解构为可复用的行为序列，并与代码、场景文件及渲染结果多模态对齐，从而支撑智能体行为克隆、动作规划及人机协同创作等方向的研究。结合当前AIGC与机器人操作的热潮，该数据集有助于推动从感知到执行的闭环学习，尤其在虚拟环境中的空间推理与工具使用能力评估方面具有独特价值，为构建通用型三维世界代理（agent）奠定数据基础。