EgoWalk

EgoWalk是一个多模态数据集，包含50小时的人类导航数据，涵盖了室内外、不同季节和地理位置的环境。该数据集旨在为机器人导航提供高质量的训练数据，并支持自然语言目标标注和可通行性分割掩码等子数据集的自动生成。EgoWalk数据集的创建旨在满足机器人导航算法对大规模、高质量现实世界数据的需求，以实现实际和不可控条件下的成功训练和鲁棒性能。数据集的多样性研究、用例和基准测试表明其在实际应用中的实用性。EgoWalk is a multimodal dataset containing 50 hours of human navigation data, covering indoor and outdoor environments across different seasons and geographical locations. This dataset is designed to provide high-quality training data for robotic navigation, and supports the automatic generation of sub-datasets such as natural language object annotation and traversability segmentation masks. The development of the EgoWalk dataset aims to meet the demand of robotic navigation algorithms for large-scale, high-quality real-world data, enabling successful training and robust performance under realistic and uncontrolled conditions. Studies on the dataset's diversity, use cases and benchmark tests have demonstrated its practical utility in real-world applications.

原始信息汇总

EgoWalk: 机器人野外导航多模态数据集

数据集概述

• 名称: EgoWalk
• 类型: 多模态机器人导航数据集
• 数据量: 50小时人类导航数据
• 环境: 多样化的室内/室外环境，不同季节和地点

数据特点

• 包含原始数据和可用于模仿学习的预处理数据
• 提供自动生成辅助数据集的流程：
  • 自然语言目标标注
  • 可通行性分割掩码

应用方向

• 数据驱动的导航算法开发
• 机器人导航系统研究

附加资源

• 公开所有数据处理流程
• 提供数据收集硬件平台的详细描述

数据集目标

• 支持现实和非受控条件下的机器人导航研究
• 增强现有导航相关数据集家族

搜集汇总

数据集介绍

构建方式

EgoWalk数据集通过多模态传感器平台收集了50小时的人类导航数据，涵盖了多样化的室内外环境及不同季节条件。数据采集采用工业级立体相机ZED X，结合视觉惯性里程计技术提取轨迹信息。为确保数据质量，参与者遵循机器人中心性、社交互动等指导原则进行自然行走。原始数据经过降采样至5 FPS、人脸模糊化处理，并利用先进算法自动生成语言目标标注和可通行性分割掩码，形成多任务适用的结构化数据集。

使用方法

研究者可通过三种层级使用该数据集：直接利用原始5FPS的RGB-D序列与里程计数据进行模仿学习；基于预生成的语言标注开发视觉-语言导航模型；或采用可通行性掩码训练场景理解算法。数据集已成功应用于真实机器人视觉导航策略训练，验证其在领域迁移场景的有效性。配套开源工具链支持轨迹提取、基准测试等下游任务，包含ViNT等模型的性能评估框架，便于横向比较不同算法在ADE/FDE等指标上的表现。

背景与挑战

背景概述

EgoWalk是由Skolkovo科学技术研究所和Sber Robotics的研究团队于2025年推出的多模态机器人导航数据集，旨在解决真实复杂环境中数据驱动的导航算法训练需求。该数据集收录了50小时的人类导航数据，涵盖室内外多样场景、季节变化及不同地理位置，通过工业级立体相机采集，并配备视觉-惯性里程计轨迹。其创新性在于整合了原始数据、模仿学习就绪数据，以及通过自动化流程生成的子数据集（如自然语言目标标注和可通行性分割掩码），为拓扑建图、场景理解、表征学习等导航相关任务提供了全面支持。相较于既有导航数据集（如SCAND、MuSoHu等），EgoWalk在数据规模、环境多样性与多模态标注的协同性上实现了突破，填补了真实世界导航数据中语义理解与运动轨迹割裂的空白。

当前挑战

EgoWalk面临的挑战主要体现在两方面：领域问题层面，视觉导航（VN）与视觉语言导航（VLN）在仅依赖RGB信号时仍存在鲁棒性不足的问题，尤其在复杂动态环境中对障碍物轮廓识别（如侧面墙体）和敏捷转向决策的模拟存在显著误差；构建过程层面，人类运动固有的噪声与非确定性导致部分轨迹难以被机器人平台复现，视觉-惯性里程计在低光环境下的位姿估计偏差可能影响轨迹精度，而基于启发式规则的自动标注流程（如语言目标选择与可通行性掩码生成）在边缘场景易产生次优结果。此外，数据采集过程中需平衡人类行为的社会合规性与机器人运动约束，这对志愿者指令设计提出了更高要求。

常用场景

经典使用场景

EgoWalk数据集在机器人导航领域具有广泛的应用价值，尤其在模仿学习（Imitation Learning）和视觉导航（Visual Navigation）任务中表现突出。该数据集通过50小时的人类导航数据，涵盖了室内外多样化的环境和季节变化，为研究人员提供了丰富的真实世界场景。其经典使用场景包括训练视觉导航策略、构建拓扑地图以及进行场景理解。数据集的多模态特性（如RGB图像、深度信息和里程计数据）使其成为开发通用导航模型的理想选择。

解决学术问题

EgoWalk数据集解决了机器人导航领域中的多个关键学术问题。首先，它填补了大规模、高质量真实世界导航数据的空白，为模仿学习提供了充足的训练样本。其次，数据集通过自动标注管道生成了可通行性掩码和自然语言目标注释，支持了语义感知导航的研究。此外，数据集的多样性（如不同季节、时间和地点）有助于提升导航模型在未知环境中的泛化能力，从而推动机器人导航技术的实际应用。

实际应用

EgoWalk数据集在实际应用中展现了强大的潜力。例如，研究人员可以利用该数据集训练视觉导航策略，并将其部署在真实机器人上，以验证其在复杂环境中的性能。数据集的自动标注功能（如可通行性分割和语言目标生成）也为开发智能导航系统提供了便利。此外，数据集的开放性和多样性使其成为工业界和学术界合作开发下一代导航算法的宝贵资源。

数据集最近研究

最新研究方向

EgoWalk数据集作为机器人导航领域的重要资源，其最新研究方向聚焦于多模态感知与语义理解在复杂环境中的深度融合。该数据集通过50小时的真实人类导航数据，结合季节、场景多样性及自动标注技术，为模仿学习、拓扑建图和语言引导导航等前沿课题提供了丰富的研究素材。当前热点探索包括：基于基础模型的自动可通行区域分割与自然语言目标标注的协同优化，以解决传统视觉导航在动态开放环境中的语义鸿沟问题；跨模态表征学习在视觉-语言-动作三联任务中的迁移机制，推动通用导航策略的零样本适应能力。这些研究显著提升了机器人在非结构化环境中的社会合规性和长程规划鲁棒性，为自动驾驶、服务机器人等应用场景提供了新的基准范式。

相关研究论文

• EgoWalk: A Multimodal Dataset for Robot Navigation in the Wild

  斯科尔科沃科学技术学院（Skolkovo Institute of Science and Technology）, 莫斯科, 俄罗斯 · 2025年