SidewalkBench
收藏资源简介：
SidewalkBench是由加州大学洛杉矶分校与Coco Robotics联合创建的综合性城市人行道视觉导航基准数据集，旨在解决复杂城市环境中导航模型评估标准缺失的问题。该数据集包含程序生成场景与真实扫描场景两种高保真环境类型，总计覆盖1235个测试场景，其中程序生成场景基于NVIDIA Isaac Sim构建并集成动态行人行为模拟，真实场景则通过3D高斯溅射技术从激光雷达与多相机数据重建而成。数据集通过事件触发机制模拟行人交互行为，并采用SMPL人体模型优化动画渲染流程，显著提升了运动多样性与仿真效率。其核心应用在于为视觉导航模型提供标准化评估平台，重点解决行人交互理解与长距离导航鲁棒性等关键瓶颈问题。
SidewalkBench is a comprehensive urban sidewalk visual navigation benchmark dataset jointly created by the University of California, Los Angeles (UCLA) and Coco Robotics, aiming to address the lack of standardized evaluation criteria for navigation models in complex urban environments. This dataset includes two types of high-fidelity environments: procedurally generated scenes and real-world scanned scenes, covering a total of 1235 test scenarios. Among them, the procedurally generated scenes are built based on NVIDIA Isaac Sim and integrated with dynamic pedestrian behavior simulation, while the real-world scenes are reconstructed from LiDAR and multi-camera data using 3D Gaussian Splatting technology. The dataset simulates pedestrian interaction behaviors through an event-triggered mechanism, and optimizes the animation rendering pipeline with the SMPL human body model, significantly improving motion diversity and simulation efficiency. Its core application is to provide a standardized evaluation platform for visual navigation models, focusing on solving key bottleneck problems such as pedestrian interaction understanding and long-distance navigation robustness.
数据集概述
SidewalkBench 是一个面向城市人行道视觉导航的综合性基准测试平台，基于 NVIDIA Isaac Sim 构建，提供 GPU 加速的高保真模拟环境。
场景构成
- 程序化生成场景：包含 100 个大规模环境，每个覆盖 2km × 2km，由 7 种基本街区类型（直道、弯道、交叉口等）通过样条路由连接，每类街区分为 5 个功能区（道路、人行道、路缘、路肩、临街区），并利用 UrbanVerse-100K 资产库填充多样化的天空、地面纹理和静态物体。
- 真实世界扫描场景：使用 XGRIDS 空间相机（LiDAR + 四摄像头）采集并重建了 11 个真实街道街区，每个平均 150m × 150m，具有逼真的 3DGS 外观和精确网格几何，并标注了人行道和斑马线区域。
行人仿真系统
- 两级仿真架构：
- 事件驱动的高层行为：定义了 8 种常见人行道交互行为（阻挡、交谈、排队、正面/侧面接近、超车、过马路、手势示意），通过行为状态机根据行人相对机器人的位置触发，支持标准化、可复现的人机交互场景。
- 高效低层动画：使用 SMPL 人体模型表示所有行人，基于 Nvdiffrast 的自定义渲染器相比 Isaac Sim 原生模块实现了 60 倍的渲染效率提升，支持并行环境的大规模评估。
测试场景与规模
- 单元测试场景：评估模型在 3 种基本人行道结构（直道、弯道、斑马线）上的性能，总计 330 个测试。
- 行人反应性场景：在程序化生成场景中评估 8 类事件驱动的行人行为，总计 800 个测试。
- 长程导航场景：要求机器人穿越超过 100 米起止距离的大规模环境，总计 105 个测试。
基准测试模型
- 对 9 个代表性的视觉导航模型进行了系统评估。
- 关键发现：
- 扩展人行道数据至关重要。
- 行人交互和长程导航鲁棒性仍是瓶颈。
- 合成数据微调是有前景的解决方案。
其他特性
- 支持作为可扩展的合成数据生成器，用于模型微调（如过马路和手势示意行为的微调示例）。
- 兼容多种机器人本体平台。
引用
@article{liu2026sidewalkbench, title={SidewalkBench: Benchmarking Visual Navigation on Urban Sidewalks}, author={Liu, Zhizheng and He, Honglin and Alumootil, Vivek and Pandya, Akshat and Squicciarini, Brad and Wu, Wayne and Zhou, Bolei}, journal={arXiv preprint}, year={2026}, }
- 1SidewalkBench: Benchmarking Visual Navigation on Urban Sidewalks加州大学洛杉矶分校; Coco Robotics · 2026年
