Event-Grounding Graph (EGG) 数据集

Event-Grounding Graph (EGG) 数据集是一个用于机器人观察的环境表示框架，它将观察到的动态事件与场景中的空间元素（如物体）进行关联，使机器人能够对复杂的环境和事件进行感知、推理和响应。该数据集由赫尔辛基大学电气工程学院的研究团队创建，包含真实机器人数据，并展示了EGG框架在检索相关信息和回答人类查询方面的能力。The Event-Grounding Graph (EGG) dataset is an environmental representation framework for robotic observation. It correlates observed dynamic events with spatial elements (e.g., objects) in the scene, enabling robots to perceive, reason about, and respond to complex environments and events. Developed by a research team from the School of Electrical Engineering, University of Helsinki, this dataset includes real robotic data and demonstrates the capabilities of the EGG framework in retrieving relevant information and answering human queries.

原始信息汇总

Event-Grounding Graph (EGG) 数据集概述

数据集基本信息

• 名称: Event-Grounding Graph (EGG)
• 描述: 用于将事件交互与场景空间特征关联的框架，使机器人能够感知、推理并响应复杂的时空查询
• 状态: 处于积极开发阶段，可能存在错误和重大变更
• 作者: Anonymous

数据集用途

• 构建丰富的环境表示
• 增强机器人场景理解能力
• 处理复杂时空查询
• 支持机器人感知、推理和响应环境相关信息

数据获取与处理

• 数据集在双盲评审过程中暂时匿名化
• 数据集将在双盲评审过程结束后公开
• 支持使用真实机器人数据进行实验

系统要求

硬件要求

• 测试平台: RTX 3070 GPU Mobile 笔记本电脑

软件要求

• 推荐部署方式: Docker
• 替代方案: Ubuntu 20.04 + ROS Noetic
• 依赖组件:
  • VideoRefer (用于自动生成视频字幕)
  • OpenAI AI API密钥 (用于图剪枝、评估和生成图像字幕)

快速开始

构建EGG图

bash

从真实数据构建图

python3 build_graph.py

使用引导字幕构建图 (需要GPU)

python3 build_graph.py -a

使用非引导字幕构建图 (需要GPU)

python3 build_graph.py -a -u

可视化EGG

bash python3 egg_visualizer.py

信息检索实验

bash

支持策略: [pruning_unified, pruning_unified_no_edge, spatial, event, no_edge, full_unified]

python3 eval.py -s pruning_unified -t 1

输出格式

• 结果保存为JSON文件 (例如: "graph_gt.json")

搜集汇总

数据集介绍

构建方式

在机器人感知领域，Event-Grounding Graph（EGG）数据集通过融合多模态传感器数据构建而成。该数据集整合RGB-D图像序列、机器人位姿信息及时间戳，采用分层三维场景图架构组织空间元素，其中对象节点通过视觉语言模型生成外观描述以增强区分度。事件组件利用视频描述模型自动提取人类活动摘要，并通过事件边将动态交互与空间对象精准关联，形成统一的时空表征框架。

特点

EGG数据集的核心特征在于其时空统一性，能够同时捕捉静态场景结构与动态事件演化。空间组件保留对象的几何属性与语义描述，事件节点记录活动的时间区间与机器人观测轨迹，而事件边则建立了对象状态变化与交互行为的显式关联。这种设计支持对复杂查询的跨模态推理，例如追踪特定对象的历史使用轨迹或解析多对象协同事件。

使用方法

该数据集通过结构化查询机制支持场景理解任务。用户输入自然语言查询后，系统首先解析时空约束条件，继而运用图剪枝算法提取相关子图。剪枝过程依次基于时间窗口、空间位置、对象实例与事件类型进行层次化筛选，最终将精简的子图序列化为JSON格式供大语言模型推理。该方法显著降低了计算冗余，同时保障了复杂时空问答的准确性。

背景与挑战

背景概述

事件接地图（Event-Grounding Graph, EGG）数据集由阿尔托大学的Phuoc Nguyen、Francesco Verdoja和Ville Kyrki于2025年提出，旨在解决机器人感知领域中空间特征与动态事件之间的连接缺失问题。该数据集构建了一个统一的时空场景图表示，通过将观测到的事件与场景中的空间元素（如物体和房间）进行接地，使机器人能够感知、推理并响应复杂的时空查询。EGG数据集的发布推动了智能自主机器人在动态人类环境中的发展，为多机器人协调、自然人类-机器人交互等任务提供了关键支持。

当前挑战

EGG数据集面临的挑战主要包括两个方面：在领域问题层面，需解决机器人对动态事件与空间特征关联的理解不足，例如准确识别特定物体在历史事件中的角色；在构建过程层面，自动化视频描述模型的精度限制了事件描述的可靠性，同时图剪枝策略可能引入冗余信息，影响下游任务性能。此外，实时构建EGG的离线特性也制约了其在动态环境中的即时应用。

常用场景

经典使用场景

在机器人感知与推理领域，Event-Grounding Graph (EGG) 数据集被广泛应用于构建统一时空场景图，以支持复杂查询的语义解析。该数据集通过整合空间特征与动态事件，使机器人能够处理如“今天早晨谁在厨房清洗了我的杯子？”这类涉及时空关联的自然语言问题，显著提升了场景理解的深度与广度。

解决学术问题

EGG 数据集有效解决了传统场景表示中空间特征与动态事件脱节的核心学术问题。通过将事件交互与空间元素（如物体位置、状态变化）进行关联，该框架填补了语义场景图在动态感知方面的空白，支持机器人对历史交互的追溯与推理，为智能体在动态环境中的长期记忆与决策提供了理论支撑。

衍生相关工作

EGG 数据集推动了多领域衍生研究的发展，例如基于时空子图剪枝的语义搜索算法优化，以及结合大语言模型的层次化推理框架。相关经典工作包括Hydra 3D场景图的实时构建系统、Embodied-RAG的语义导航方法，以及SayPlan中利用场景图进行任务规划的创新实践，共同拓展了时空感知在机器人学中的应用边界。