astralhf/yonder

Yonder是一个大规模的无人机视角室内导航数据集，包含465万帧数据，旨在揭示跨模拟器泛化差距。数据集包含167个室内3D环境，每个环境提供多种传感器数据（如RGB、深度、IR、LiDAR-360等），并附带语义分割和姿态信息。数据集主要用于训练无人机视角的感知模型，并研究跨模拟器泛化问题。数据集遵循CC-BY-NC-4.0许可，禁止商业用途。Yonder is a large-scale drone-perspective dataset for indoor navigation, comprising 4.65 million frames, designed to expose the cross-simulator generalization gap. The dataset includes 167 indoor 3D environments, each providing various sensor data (e.g., RGB, depth, IR, LiDAR-360) along with semantic segmentation and pose information. It is primarily used for training drone-perspective perception models and studying cross-simulator generalization. The dataset is licensed under CC-BY-NC-4.0, prohibiting commercial use.

原始信息汇总

数据集名称

Yonder: A 4.65M-Frame Drone-Perspective Dataset for Indoor Navigation

数据集概述

Yonder 是目前公开的最大的无人机视角室内导航数据集，包含超过 465 万帧合成图像，旨在研究跨模拟器的泛化差距问题。该数据集随 NeurIPS 2026 数据集与基准赛道论文一同发布。

核心数据规模

• 总帧数: 4,650,324 帧
• 航点文件: 387,527 个 .npz 文件（每个航点对应 12 个偏航角）
• 3D 环境: 167 个室内场景（全部来自 HSSD 数据集，均带有语义标注）
• 传感器类型: 每个 NPZ 文件包含 52 种传感器数组（立体 RGB、深度、红外、LiDAR-360、语义分割、姿态、IMU）
• 总大小: ~3.3 TB

任务与标签

• 任务: 目标检测、深度估计、机器人
• 语言: 英语
• 标签: 机器人学、无人机导航、视觉语言导航、开放词汇检测、具身智能、Habitat-Sim 等
• 许可证: CC-BY-NC-4.0（数据集部分）

数据内容与结构

• 每个航点: 包含单个无人机位姿下的 12 个偏航角观测数据。
• 传感器参数:
  • 左/右 RGB: 640×480, uint8
  • 前向深度: 640×480, float16（米）
  • 着陆相机: 640×480, uint8（俯视）
  • 上/下红外: 640×480, uint8
  • LiDAR-360: 1024 × 16 通道, float32（米）
  • 位置/方向/IMU: float32（Habitat-Sim 世界坐标系）
  • 语义分割: 640×480 实例+类别 ID（覆盖全部 167 个场景）
• 存储布局:
  • 主要子集: indoor/drone-data/augmented/（包含 167 个场景文件夹）
  • 交叉模拟器评估子集: indoor/isaac-sim-native/（60 个 Isaac 渲染场景）
  • 外部场景: outdoor/（森林、沙漠、月球等，不包含在 NeurIPS 论文中）
  • 标注: annotations/（COCO 格式检测标签）

数据划分与使用

• 数据划分: 未提供预定义的训练/验证/测试划分。论文实验使用 10% 的航点作为留出集。
• 推荐用途:
  • 训练无人机视角感知模型（开放词汇检测、单目深度、语义分割）
  • 研究跨模拟器泛化（需配合闭环评估）
• 使用注意:
  • 不包含用于行为克隆的专家轨迹
  • 仅依赖离线指标可能具有误导性
  • 不适用于商业用途、监控或生物识别
• 样本子集: 提供 astralhf/yonder-sample（约 500 MB）供快速测试。

搜集汇总

数据集介绍

构建方式

Yonder数据集源自单一开源三维场景数据集HSSD，通过Habitat-Sim仿真器渲染生成，涵盖167个室内环境。每个航点对应一个无人机位姿并包含12个偏航角方向的数据。对于每个偏航角，数据采集模块同步记录立体RGB图像、前向深度、着陆相机、上下红外相机、360度激光雷达点云、位姿与IMU信息以及语义分割标注。总计包含387,527个航点NPZ文件，每个文件存储52个传感器阵列数据，最终形成约465万帧的无人机视角室内导航数据集。

使用方法

用户可通过HuggingFace Hub的snapshot_download函数便捷下载指定场景的NPZ数据包。每个航点文件可直接使用numpy加载，各传感器数据按偏航角组织为独立数组。建议将Yonder用于无人机视角下的开放词汇检测、单目深度估计与语义分割模型训练，并可结合闭环评估工具研究跨模拟器泛化性能。需注意数据集受CC-BY-NC-4.0许可证约束，仅限非商业用途，且不提供预定义的训练/验证/测试划分，需要参照论文中的划分方案自行分配。

背景与挑战

背景概述

Yonder数据集由匿名研究团队于2026年创建，旨在应对无人机室内导航领域感知模型跨模拟器泛化能力不足的核心挑战。该数据集是当前规模最大的公开无人机视角室内导航数据集，包含高达465万帧图像、387,527个航点及167个带有语义标注的室内三维环境，数据总量约3.3TB。通过Habitat-Sim与Isaac-Sim两种模拟器平台分别采集训练与评估子集，Yonder创造性地揭示了仅依赖单一模拟器离线指标评估模型性能的局限性，为具身人工智能和视觉-语言导航研究提供了可靠的基准。该工作已被NeurIPS 2026数据集与基准轨道接收，其开源发布显著推动了仿真环境向实用化部署过渡的研究进程。

当前挑战

Yonder所解决的领域核心问题是跨模拟器泛化鸿沟，即在标准离线指标上表现优异的感知模型在迁移至不同模拟器或真实场景时性能显著下降。具体挑战包括：第一，当前主流数据集均依赖单一模拟器进行数据采集和评估，导致模型对渲染引擎、光照分布和物理引擎的过拟合；第二，构建过程面临超过3TB海量数据的管理与多模态传感器（立体RGB、深度、红外、LiDAR-360及语义分割）标注一致性挑战；第三，上游场景数据集（如HM3D、Replica）的许可证限制导致部分衍生数据无法开源发布，迫使团队重构完整的数据采集管线并引入跨模拟器闭环评估策略以验证数据可靠性。

常用场景

经典使用场景

Yonder数据集以超过465万帧的庞大规模，成为室内无人机导航领域最富代表性的视觉感知训练资源。该数据集广泛用于训练面向无人机第一人称视角的开放词汇目标检测、单目深度估计和语义分割模型。每一帧都包含立体RGB、深度图、红外图像、360度激光雷达及IMU等多模态传感器数据，为构建鲁棒的无人机感知系统提供了前所未有的数据基础。研究者常利用其跨12个偏航角的全方位观测设计，使模型能在复杂室内环境中实现360度无死角的环境理解，从而显著提升导航的准确性与可靠性。

解决学术问题

该数据集揭示并解决了学术界长期忽视的跨模拟器泛化鸿沟问题——即在同一模拟器上训练的感知模型在迁移至另一模拟器时性能显著退化。Yonder通过提供来自Habitat-Sim和Isaac-Sim两种不同模拟环境的评估数据，构建了首个闭环基准测试系统，使研究者能够系统性地检测和量化这种泛化失败。这一发现颠覆了传统仅依赖离线指标评价模型性能的研究范式，推动了跨域泛化理论在具身智能领域的深入发展，迫使学界重新审视模拟环境下训练方法的有效性边界。

实际应用

在实际应用层面，Yonder为无人机在仓库巡检、医院物资运输、办公室安防监控等封闭室内场景的自主导航提供了可靠的技术支撑。其多传感器融合的数据架构可直接服务于工业级无人机系统开发，使无人机能够在缺乏GPS信号的建筑内部实现精确的自主定位与路径规划。数据集所强调的跨模拟器验证机制，有效降低了仿真到现实部署时的性能衰退风险，对物流仓储自动化、紧急救援室内侦察等真实世界应用场景具有深远影响。

数据集最近研究

最新研究方向

当前，具身智能与无人机自主导航领域正经历从单一模拟器评估向跨模拟器泛化能力检验的重要转变。Yonder数据集以465万帧的庞大规模和167个精细室内场景的语义标注，为无人机视角下的开放词汇检测、深度估计与语义分割奠定了坚实基础。其核心贡献在于首次系统性揭示了跨模拟器泛化鸿沟——在Habitat-Sim上训练的高性能感知模型迁移至Isaac Sim环境时性能显著衰减，这一发现挑战了传统离线评估指标的可靠性。该数据集通过提供完整的闭环基准测试，促使研究人员正视仿真环境差异对导航系统鲁棒性的影响，推动了视觉-语言导航任务评估范式的革新，并为构建真正通用且可靠的无人机自主系统提供了关键的实验平台与理论洞察。