lmms-lab/Egothink

---
dataset_info:
- config_name: Activity
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
- name: id
dtype: string
splits:
- name: test
num_bytes: 131503554.0
num_examples: 100
download_size: 131505644
dataset_size: 131503554.0
- config_name: Forecasting
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
- name: id
dtype: string
splits:
- name: test
num_bytes: 139303002.0
num_examples: 100
download_size: 139307208
dataset_size: 139303002.0
- config_name: Localization_location
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
- name: id
dtype: string
splits:
- name: test
num_bytes: 65820754.0
num_examples: 50
download_size: 65824255
dataset_size: 65820754.0
- config_name: Localization_spatial
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
- name: id
dtype: string
splits:
- name: test
num_bytes: 72484708.0
num_examples: 50
download_size: 72488136
dataset_size: 72484708.0
- config_name: Object_affordance
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
- name: id
dtype: string
splits:
- name: test
num_bytes: 62218613.0
num_examples: 50
download_size: 62220447
dataset_size: 62218613.0
- config_name: Object_attribute
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
- name: id
dtype: string
splits:
- name: test
num_bytes: 62069832.0
num_examples: 50
download_size: 62072760
dataset_size: 62069832.0
- config_name: Object_existence
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
- name: id
dtype: string
splits:
- name: test
num_bytes: 70742683.0
num_examples: 50
download_size: 70746449
dataset_size: 70742683.0
- config_name: Planning_assistance
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
- name: id
dtype: string
splits:
- name: test
num_bytes: 63264702.0
num_examples: 50
download_size: 63264791
dataset_size: 63264702.0
- config_name: Planning_navigation
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
- name: id
dtype: string
splits:
- name: test
num_bytes: 57346420.0
num_examples: 50
download_size: 57347111
dataset_size: 57346420.0
- config_name: Reasoning_comparing
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
- name: id
dtype: string
splits:
- name: test
num_bytes: 67880652.0
num_examples: 50
download_size: 67883027
dataset_size: 67880652.0
- config_name: Reasoning_counting
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
- name: id
dtype: string
splits:
- name: test
num_bytes: 68443607.0
num_examples: 50
download_size: 68446860
dataset_size: 68443607.0
- config_name: Reasoning_situated
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
- name: id
dtype: string
splits:
- name: test
num_bytes: 52523305.0
num_examples: 50
download_size: 52526546
dataset_size: 52523305.0
configs:
- config_name: Activity
data_files:
- split: test
path: Activity/test-*
- config_name: Forecasting
data_files:
- split: test
path: Forecasting/test-*
- config_name: Localization_location
data_files:
- split: test
path: Localization_location/test-*
- config_name: Localization_spatial
data_files:
- split: test
path: Localization_spatial/test-*
- config_name: Object_affordance
data_files:
- split: test
path: Object_affordance/test-*
- config_name: Object_attribute
data_files:
- split: test
path: Object_attribute/test-*
- config_name: Object_existence
data_files:
- split: test
path: Object_existence/test-*
- config_name: Planning_assistance
data_files:
- split: test
path: Planning_assistance/test-*
- config_name: Planning_navigation
data_files:
- split: test
path: Planning_navigation/test-*
- config_name: Reasoning_comparing
data_files:
- split: test
path: Reasoning_comparing/test-*
- config_name: Reasoning_counting
data_files:
- split: test
path: Reasoning_counting/test-*
- config_name: Reasoning_situated
data_files:
- split: test
path: Reasoning_situated/test-*
---

数据集信息：
- 配置名称：Activity
特征：
- 名称：图像（image），数据类型：图像
- 名称：问题（question），数据类型：字符串
- 名称：答案（answer），数据类型：字符串
- 名称：ID（id），数据类型：字符串
数据集划分：
- 划分名称：测试集（test），占用字节数：131503554.0，样本数量：100
下载大小：131505644，数据集总大小：131503554.0
- 配置名称：Forecasting
特征：
- 名称：图像（image），数据类型：图像
- 名称：问题（question），数据类型：字符串
- 名称：答案（answer），数据类型：字符串
- 名称：ID（id），数据类型：字符串
数据集划分：
- 划分名称：测试集（test），占用字节数：139303002.0，样本数量：100
下载大小：139307208，数据集总大小：139303002.0
- 配置名称：Localization_location
特征：
- 名称：图像（image），数据类型：图像
- 名称：问题（question），数据类型：字符串
- 名称：答案（answer），数据类型：字符串
- 名称：ID（id），数据类型：字符串
数据集划分：
- 划分名称：测试集（test），占用字节数：65820754.0，样本数量：50
下载大小：65824255，数据集总大小：65820754.0
- 配置名称：Localization_spatial
特征：
- 名称：图像（image），数据类型：图像
- 名称：问题（question），数据类型：字符串
- 名称：答案（answer），数据类型：字符串
- 名称：ID（id），数据类型：字符串
数据集划分：
- 划分名称：测试集（test），占用字节数：72484708.0，样本数量：50
下载大小：72488136，数据集总大小：72484708.0
- 配置名称：Object_affordance
特征：
- 名称：图像（image），数据类型：图像
- 名称：问题（question），数据类型：字符串
- 名称：答案（answer），数据类型：字符串
- 名称：ID（id），数据类型：字符串
数据集划分：
- 划分名称：测试集（test），占用字节数：62218613.0，样本数量：50
下载大小：62220447，数据集总大小：62218613.0
- 配置名称：Object_attribute
特征：
- 名称：图像（image），数据类型：图像
- 名称：问题（question），数据类型：字符串
- 名称：答案（answer），数据类型：字符串
- 名称：ID（id），数据类型：字符串
数据集划分：
- 划分名称：测试集（test），占用字节数：62069832.0，样本数量：50
下载大小：62072760，数据集总大小：62069832.0
- 配置名称：Object_existence
特征：
- 名称：图像（image），数据类型：图像
- 名称：问题（question），数据类型：字符串
- 名称：答案（answer），数据类型：字符串
- 名称：ID（id），数据类型：字符串
数据集划分：
- 划分名称：测试集（test），占用字节数：70742683.0，样本数量：50
下载大小：70746449，数据集总大小：70742683.0
- 配置名称：Planning_assistance
特征：
- 名称：图像（image），数据类型：图像
- 名称：问题（question），数据类型：字符串
- 名称：答案（answer），数据类型：字符串
- 名称：ID（id），数据类型：字符串
数据集划分：
- 划分名称：测试集（test），占用字节数：63264702.0，样本数量：50
下载大小：63264791，数据集总大小：63264702.0
- 配置名称：Planning_navigation
特征：
- 名称：图像（image），数据类型：图像
- 名称：问题（question），数据类型：字符串
- 名称：答案（answer），数据类型：字符串
- 名称：ID（id），数据类型：字符串
数据集划分：
- 划分名称：测试集（test），占用字节数：57346420.0，样本数量：50
下载大小：57347111，数据集总大小：57346420.0
- 配置名称：Reasoning_comparing
特征：
- 名称：图像（image），数据类型：图像
- 名称：问题（question），数据类型：字符串
- 名称：答案（answer），数据类型：字符串
- 名称：ID（id），数据类型：字符串
数据集划分：
- 划分名称：测试集（test），占用字节数：67880652.0，样本数量：50
下载大小：67883027，数据集总大小：67880652.0
- 配置名称：Reasoning_counting
特征：
- 名称：图像（image），数据类型：图像
- 名称：问题（question），数据类型：字符串
- 名称：答案（answer），数据类型：字符串
- 名称：ID（id），数据类型：字符串
数据集划分：
- 划分名称：测试集（test），占用字节数：68443607.0，样本数量：50
下载大小：68446860，数据集总大小：68443607.0
- 配置名称：Reasoning_situated
特征：
- 名称：图像（image），数据类型：图像
- 名称：问题（question），数据类型：字符串
- 名称：答案（answer），数据类型：字符串
- 名称：ID（id），数据类型：字符串
数据集划分：
- 划分名称：测试集（test），占用字节数：52523305.0，样本数量：50
下载大小：52526546，数据集总大小：52523305.0
配置项：
- 配置名称：Activity
数据文件：
- 划分：测试集（test），路径：Activity/test-*
- 配置名称：Forecasting
数据文件：
- 划分：测试集（test），路径：Forecasting/test-*
- 配置名称：Localization_location
数据文件：
- 划分：测试集（test），路径：Localization_location/test-*
- 配置名称：Localization_spatial
数据文件：
- 划分：测试集（test），路径：Localization_spatial/test-*
- 配置名称：Object_affordance
数据文件：
- 划分：测试集（test），路径：Object_affordance/test-*
- 配置名称：Object_attribute
数据文件：
- 划分：测试集（test），路径：Object_attribute/test-*
- 配置名称：Object_existence
数据文件：
- 划分：测试集（test），路径：Object_existence/test-*
- 配置名称：Planning_assistance
数据文件：
- 划分：测试集（test），路径：Planning_assistance/test-*
- 配置名称：Planning_navigation
数据文件：
- 划分：测试集（test），路径：Planning_navigation/test-*
- 配置名称：Reasoning_comparing
数据文件：
- 划分：测试集（test），路径：Reasoning_comparing/test-*
- 配置名称：Reasoning_counting
数据文件：
- 划分：测试集（test），路径：Reasoning_counting/test-*
- 配置名称：Reasoning_situated
数据文件：
- 划分：测试集（test），路径：Reasoning_situated/test-*

搜集汇总

数据集介绍

构建方式

在具身智能与第一人称视觉理解的研究浪潮中，Egothink数据集应运而生，旨在系统性地评估多模态大模型在自我中心场景下的认知能力。该数据集精心构建了12个专项评测配置，覆盖活动识别、预测、定位、物体属性、规划及推理等核心维度。每个配置均以图像与问答对为核心单元，样本量从50至100例不等，确保评测的精细度。数据采用标准化的test分割，以图像与文本的配对形式存储，为模型提供结构化的输入接口。

使用方法

使用Egothink数据集时，研究者可通过HuggingFace Datasets库便捷加载。每个配置名称如'Activity'或'Reasoning_counting'可直接作为参数传入，指定加载对应的评测子集。数据集仅提供test分割，适合直接用于零样本或少样本评估。加载后，每条样本包含image、question、answer与id四个字段，其中image为PIL图像对象，question与answer为字符串，便于快速构建评估流水线，从而量化模型在各类第一人称认知任务上的性能。

背景与挑战

背景概述

Egothink数据集由lmms-lab团队创建，旨在推动以自我为中心的视觉理解研究。该数据集聚焦于第一人称视角下的智能体感知与推理能力，涵盖活动识别、预测、定位、物体属性、规划及推理等12个精细子任务，每个子任务包含50至100个测试样本。其核心研究问题在于评估多模态大模型在真实世界场景中，从自我中心视角进行物体存在性判断、空间关系推理、行动规划与辅助决策等复杂认知任务的表现。Egothink的发布为自我中心视觉与具身智能领域提供了标准化基准，对推动视觉语言模型在机器人、增强现实和辅助技术中的应用具有重要影响力。

当前挑战

Egothink数据集面临的挑战体现在两个层面。在领域问题层面，自我中心视角下的视觉理解需解决动态场景中物体遮挡、视角快速变化以及意图推断的歧义性，这些复杂性远超传统第三人称视觉任务。在构建过程中，数据集需确保每个子任务的样本具有高生态效度，即真实反映日常活动中的第一人称体验，同时平衡问题多样性与标注一致性。此外，如何设计能有效区分模型在感知、推理与规划能力上细微差异的评测任务，避免简单模式匹配，是确保基准有效性的核心难题。

常用场景

经典使用场景

在具身智能与视觉语言导航研究领域，Egothink数据集被广泛用于评估和训练模型在复杂现实场景中的多模态感知与推理能力。该数据集精心设计了12个子任务，涵盖活动识别、未来预测、空间定位、物体属性判断、规划与推理等核心场景。研究者通常利用其图像-问答对形式，构建端到端的视觉语言模型，以测试模型在非结构化环境中理解人类行为意图、预测动态事件走向、以及执行空间推理和物体属性认知的泛化能力。数据集的多样性使其成为检验模型在真实世界情境下语义理解与决策鲁棒性的基准标杆。

解决学术问题

Egothink数据集有效填补了现有视觉问答与具身推理数据集在任务深度与生态效度上的不足。传统数据集多聚焦于静态场景的简单问答，而Egothink通过引入活动、预测、定位、规划等递进式认知任务，解决了模型在高层次语义理解、因果推理与时空推理方面的评估难题。它为研究人类中心视角下的常识推理、物体功能认知以及动态环境中的决策规划提供了标准化的测试平台，推动了视觉语言模型从感知层向认知层的跨越，其影响力体现在诸多后续研究将其作为衡量模型智能水平的核心指标。

实际应用

在实际应用中，Egothink数据集驱动的技术可赋能智能机器人、增强现实系统和辅助驾驶等前沿领域。基于该数据集训练的模型能够帮助机器人理解人类日常活动（如烹饪、清洁）并预测下一步动作，从而实现人机协作中的主动协助。在增强现实中，模型可实时分析用户视野内的物体与空间布局，提供位置导航与操作指引。此外，该数据集还支持智能安防系统中的异常行为检测与预测，以及为视障人士开发的环境感知辅助工具，显著提升了系统在复杂动态场景中的实用性与安全性。

数据集最近研究

最新研究方向

随着具身智能与第一人称视觉理解领域的蓬勃发展，Egothink数据集应运而生，聚焦于从自我中心视角出发的多模态认知推理能力。该数据集精心设计了活动识别、预测、空间定位、对象属性与存在性判断、规划辅助与导航、以及比较、计数与情境推理等十二个细分任务，全面覆盖了日常场景中智能体所需的核心认知维度。当前前沿研究正借助Egothink推动大型视觉语言模型在真实世界中的情境化理解与行动预测，尤其在人机协作、增强现实和自主导航等热点方向上，该数据集为评估模型在复杂动态环境中的零样本推理与长期规划能力提供了关键基准，其意义在于弥合视觉感知与高层认知决策之间的鸿沟，加速通用人工智能在物理世界的落地进程。