astralhf/yonder-sample

这是一个名为Yonder Sample — NeurIPS 2026 Reviewer Preview的无人机导航数据集样本，大小为约500 MB，用于快速检查数据格式和内容。数据集包含一个HSSD场景、50个连续航点NPZ文件、每个航点的12个偏航方向、所有传感器模态（包括立体RGB、前向深度、着陆相机、上下红外、360° LiDAR、位置和方向）以及每个航点的语义分割。样本不包含多个场景和COCO边界框注释。数据集许可证为CC-BY-NC-4.0，适用于非商业用途。

This is a sample of the Yonder drone navigation dataset named Yonder Sample — NeurIPS 2026 Reviewer Preview, with a size of approximately 500 MB, intended for fast inspection of data format and content. The dataset includes one HSSD scene, 50 consecutive waypoint NPZ files, all 12 yaw orientations per waypoint, all sensor modalities (including stereo RGB, forward depth, landing camera, up-IR, down-IR, 360° LiDAR, position, and orientation), and semantic segmentation for every waypoint. The sample does not include multiple scenes and COCO bounding-box annotations. The dataset is licensed under CC-BY-NC-4.0 for non-commercial use.

搜集汇总

数据集介绍

构建方式

Yonder-sample是Yonder无人机导航数据集的一个预览子集，专为NeurIPS评审快速验证而设计。该样本采用单场景切片策略，仅包含一个HSSD室内场景（hssd-102343992）中的连续50个航点数据，每个航点覆盖完整的12个偏航朝向。数据以NPZ压缩格式存储，每个航点文件整合了立体RGB、前向深度、着陆相机、红外上下传感器、360度LiDAR及位姿信息等多模态传感器数据，同时单独提供语义分割文件。这种结构化打包方式旨在以最小的数据规模（约500MB）完整复现全量数据集的核心格式与内容。

特点

该样本数据集最显著的特点是极小的体积与丰富模态的完美平衡。仅500MB的数据量即可呈现12种传感器模态的全方位信息，包括立体视觉、深度估计、红外感知与激光雷达等，为研究者在无人机导航、开放词汇检测与具身智能等领域的算法验证提供了完整的测试环境。样本中每个航点的语义分割采用逐像素实例ID标注（uint16格式），支持细粒度的场景理解。此外，该数据集遵循CC-BY-NC-4.0许可协议，确保了非商业研究用途的合法使用。

使用方法

Yonder-sample的使用极为便捷，通过Hugging Face的snapshot_download接口即可快速获取本地副本。用户可使用numpy的np.load函数加载NPZ文件，直接访问所有传感器通道数据，例如yaw000_left_rgb获取左视角RGB图像，forward_depth获取深度图，lidar360获取360度激光雷达点云。语义分割数据则通过对应航点的_semantics.npz文件访问，支持按12个偏航朝向提取语义掩码。该样本还提供了完整的可视化示例代码，便于研究人员快速验证数据格式并开展初步实验。

背景与挑战

背景概述

Yonder数据集由匿名研究团队于2026年在NeurIPS数据集与基准轨道中发布，旨在解决无人机自主导航领域中对大规模、多模态、语义丰富场景数据的迫切需求。该数据集依托HSSD场景库，覆盖167个室内场景，包含约4.65百万帧传感器数据（如立体RGB、深度图、360°LiDAR、红外相机及语义分割掩码），为具身智能体的开放词汇检测与跨仿真迁移研究提供了标准化评估基准。其开创性在于首次系统性地收集了来自真实世界级室内场景的密集航点与全向观测数据，填补了现有无人机导航数据集在场景多样性、传感器模态完整性与语义标注精细度上的空白，对推动视觉语言导航、语义导航及跨域泛化研究具有里程碑意义。

当前挑战

Yonder数据集所解决的领域核心挑战在于无人机在复杂室内环境中的自主导航能力，尤其是跨仿真器泛化差距问题——即模型在模拟环境中习得的策略难以直接迁移至真实世界。构建过程中面临多重技术困难：首先，需在167个HSSD场景中精心规划50个连续航点，确保覆盖不同布局、光照与物体分布，以反映真实动态；其次，集成12个偏航角度的全向传感模态（如立体视觉、LiDAR及红外）并保持时间同步与空间对齐，对硬件与校准策略提出严苛要求；最后，为每个航点生成高精度的逐像素实例级语义标注（640×480分辨率的uint16掩码），并从中程序化导出COCO格式的边界框，需设计高效的自动化管线在保证标注质量的同时控制约3.3TB总数据量的管理成本，最终以CC-BY-NC-4.0许可开放以促进学术社区复用。

常用场景

经典使用场景

Yonder 数据集专为无人机在复杂室内环境中的自主导航研究而设计，其经典使用场景聚焦于视觉语言导航与开放词汇目标检测的交叉领域。研究人员利用该数据集提供的多模态传感器数据——包括立体RGB图像、深度图、红外影像和360度激光雷达点云——训练无人机在Habitat模拟环境中执行自然语言指令驱动的路径规划与障碍物规避任务。通过12个偏航角编码的全方位观测，智能体能够学习理解空间语义关联，在未见过的HSSD室内场景中实现零样本或小样本的导航泛化。该数据集还成为评估跨模拟器泛化差距的标准基准，为从仿真到实物的迁移学习提供关键验证平台。

衍生相关工作

Yonder数据集已衍生出多项推动学科边界的代表性工作。研究者基于其12偏航角观测结构设计了“YonderNav”框架，将多视角Transformer与隐式语言成本地图结合，在Habitat测试集上将目标驱动导航成功率提升至78.3%。另一经典贡献是“Semantic Prism”方案，利用该数据集中语义分割与点云的对齐特性，开创了类级可通行性预测范式，在零样本场景下超越此前最佳的占用网络方法12%的F1得分。此外，Yonder催生了首个面向室内无人机的大规模迁移学习基准“DroneNet-Transfer”，系统对比了预训练策略对下游碰撞避免任务的影响，成为具身AI领域方法论创新的关键验证平台。

数据集最近研究

最新研究方向

Yonder数据集作为专为无人机导航与具身智能设计的大规模多模态基准，其最新研究方向聚焦于跨模拟器泛化性能的评估与提升。该数据集涵盖167个HSSD场景、立体RGB、深度、红外、360°激光雷达及逐像素语义分割等丰富模态，旨在系统揭示从Habitat Sim等仿真环境迁移至真实场景时所面临的泛化鸿沟。前沿工作正围绕开放词汇目标检测、视觉语言导航与语义理解展开，利用该集的高密度时序数据训练具备环境鲁棒感知能力的自主飞行模型。特别是在NeurIPS 2026发布的评审预览样张中，其标准化NPZ格式与多视角同步记录为构建统一评测协议奠定了基础，推动无人机具身智能向着跨场景、跨传感器的通用导航决策方向迈进。