UrbanVerse-100K Dataset

UrbanVerse-100K是一个包含注释和重新缩放的3D资产数据库，用于城市模拟和机器人学习。

UrbanVerse-100K is a database of annotated and rescaled 3D assets for urban simulation and robotic learning.

原始信息汇总

UrbanVerse 数据集概述

数据集名称

UrbanVerse-100K Dataset

核心描述

UrbanVerse 是一个将真实世界城市景观从城市游览视频转换为具有物理感知、可交互的仿真环境的系统，旨在实现城市空间中可扩展的机器人学习，并具备真实世界泛化能力。

数据集内容

• UrbanVerse-100K 数据集：包含标注信息和重新缩放的资产。
• UrbanVerse-100K 数据集工具包：发布 Python 包 urbanverse-asset。
• CraftBench 场景：10 个专业设计的仅供测试的场景（待发布）。
• UrbanVerse 场景仓库：160 个由 UrbanVerse 生成的、可用于仿真的城市场景（待发布）。

相关资源

• 技术报告：arXiv:2510.15018, 2025
• 项目主页：https://urbanverseproject.github.io/
• 论文：https://arxiv.org/abs/2510.15018
• 介绍视频：https://www.youtube.com/watch?v=zMvDiAVUY5I

开发团队

• Mingxuan Liu (加州大学洛杉矶分校，特伦托大学)
• Honglin He (加州大学洛杉矶分校)
• Elisa Ricci (特伦托大学，Fondazione Bruno Kessler)
• Wayne Wu (加州大学洛杉矶分校)
• Bolei Zhou (加州大学洛杉矶分校)

发布状态

• 已发布：UrbanVerse-100K 数据集及其工具包。
• 待发布：CraftBench 场景、UrbanVerse 场景仓库、UrbanVerse-Gen 管道（真实到仿真的自动场景构建代码）、RL 训练管道（仿真内策略训练与评估代码）。

引用信息

bibtex @inproceedings{ liu2026urbanverse, title={UrbanVerse: Scaling Urban Simulation by Watching City-Tour Videos}, author={Mingxuan Liu and Honglin He and Elisa Ricci and Wayne Wu and Bolei Zhou}, booktitle={The Fourteenth International Conference on Learning Representations}, year={2026}, }

搜集汇总

数据集介绍

构建方式

在计算机视觉与机器人学领域，构建能够反映真实世界复杂性的仿真环境是推动具身智能发展的关键。UrbanVerse-100K数据集的构建过程体现了从现实到仿真的系统性转化。该数据集通过自动化流程，从公开的城市游览视频中提取视觉信息，并利用先进的计算机视觉模型进行三维场景重建与语义分割。具体而言，研究团队开发了名为UrbanVerse-Gen的自动场景构建管线，该管线能够从视频帧中恢复出具有物理属性的三维网格、纹理以及语义标签，最终生成包含丰富几何与语义信息的仿真就绪资产。这一过程实现了对大规模、多样化城市环境的规模化采集与数字化复现。

特点

UrbanVerse-100K数据集的核心特点在于其规模、真实性与交互性。该数据集囊括了超过十万个经过重新缩放的仿真资产，覆盖了城市环境中常见的建筑、植被、交通工具及街道设施等多种类别。其独特之处在于，每个资产不仅具备精细的几何结构，还附带了精确的物理属性和语义标签，从而支持物理模拟与智能体交互。数据集源于真实世界的城市视频，确保了场景的多样性与真实性，为机器人学习任务提供了高度逼真且可泛化的训练与测试环境。这种大规模、物理感知且语义丰富的特性，使其在推动城市空间机器人仿真研究方面具有显著优势。

使用方法

为便于研究社区利用该数据集，团队提供了配套的Python工具包`urbanverse-asset`。使用者可通过该工具包便捷地加载、可视化并管理数据集中的各类资产。这些资产可直接导入主流的物理仿真引擎，用于构建交互式城市仿真场景，进而服务于机器人导航、决策规划等强化学习任务的训练与评估。研究人员可以基于这些真实感场景，开发并测试能够在复杂城市环境中泛化的智能体策略。数据集的使用遵循开源路线图，未来将逐步释放更多仿真就绪场景与训练代码，以构建完整的研究生态系统。

背景与挑战

背景概述

随着机器人技术和自动驾驶研究的深入，构建能够反映真实世界复杂性的城市模拟环境成为关键需求。UrbanVerse-100K数据集由加州大学洛杉矶分校、特伦托大学及布鲁诺·凯斯勒基金会的研究团队于2025年联合推出，其核心目标在于通过解析城市游览视频，自动生成具备物理感知与交互能力的仿真场景，以支持机器人在城市空间中的可扩展学习与泛化能力提升。该数据集作为UrbanVerse系统的重要组成部分，致力于弥合真实城市环境与虚拟仿真之间的语义鸿沟，为机器人导航、决策规划等任务提供高保真的训练与测试平台，推动了具身智能与城市计算领域的交叉融合。

当前挑战

在领域层面，该数据集旨在应对城市仿真中场景多样性不足、物理交互真实性欠缺以及仿真到现实泛化困难等核心挑战。具体而言，如何从非结构化的城市视频中精确提取几何、纹理与语义信息，并转化为可交互的仿真元素，构成了数据构建的主要难点。这涉及对动态交通流、行人行为、光照变化以及复杂建筑结构的统一建模，同时需确保生成场景的物理合理性与视觉逼真度。此外，大规模数据标注的自动化处理与多模态信息的有效融合，亦是实现高效、可扩展场景重建的关键技术壁垒。

常用场景

经典使用场景

在机器人学习与城市规划领域，UrbanVerse-100K数据集通过从城市游览视频中提取真实城市场景，构建了物理感知的交互式仿真环境。该数据集最经典的使用场景是作为大规模机器人强化学习的训练平台，使智能体能够在高度逼真的虚拟城市空间中学习导航、避障及任务执行等技能，从而有效弥合仿真训练与现实部署之间的鸿沟。

解决学术问题

该数据集主要解决了仿真环境与现实世界之间存在显著领域差距的学术难题。通过自动化地从真实视频数据中重建可交互的城市场景，UrbanVerse提供了物理一致且视觉逼真的仿真环境，使得基于仿真的机器人策略训练能够获得更好的现实世界泛化能力。这为可扩展的、数据驱动的城市仿真研究奠定了坚实基础，推动了仿真到现实迁移学习的发展。

衍生相关工作

围绕UrbanVerse-100K数据集，已衍生出一系列专注于城市仿真与机器人学习的经典研究工作。例如，基于其构建的仿真场景，研究者们开发了新的强化学习基准与评估协议，用于测试智能体在复杂动态城市环境中的长期任务完成能力。同时，该数据集也催生了针对视频到仿真自动生成、场景语义理解以及物理属性注入等关键技术的进一步探索与创新。