EgoThink/EgoThink

---
dataset_info:
- config_name: Activity
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
splits:
- name: test
num_bytes: 131502064
num_examples: 100
download_size: 131504614
dataset_size: 131502064
- config_name: Forecasting
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
splits:
- name: test
num_bytes: 139301212
num_examples: 100
download_size: 139306138
dataset_size: 139301212
- config_name: Localization_location
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
splits:
- name: test
num_bytes: 65819364
num_examples: 50
download_size: 65823441
dataset_size: 65819364
- config_name: Localization_spatial
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
splits:
- name: test
num_bytes: 72483368
num_examples: 50
download_size: 72487326
dataset_size: 72483368
- config_name: Object_affordance
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
splits:
- name: test
num_bytes: 62217423
num_examples: 50
download_size: 62219658
dataset_size: 62217423
- config_name: Object_attribute
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
splits:
- name: test
num_bytes: 62068692
num_examples: 50
download_size: 62071978
dataset_size: 62068692
- config_name: Object_existence
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
splits:
- name: test
num_bytes: 70741543
num_examples: 50
download_size: 70745667
dataset_size: 70741543
- config_name: Planning_assistance
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
splits:
- name: test
num_bytes: 63263412
num_examples: 50
download_size: 63263987
dataset_size: 63263412
- config_name: Planning_navigation
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
splits:
- name: test
num_bytes: 57345130
num_examples: 50
download_size: 57346307
dataset_size: 57345130
- config_name: Reasoning_comparing
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
splits:
- name: test
num_bytes: 67879362
num_examples: 50
download_size: 67882224
dataset_size: 67879362
- config_name: Reasoning_counting
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
splits:
- name: test
num_bytes: 68442367
num_examples: 50
download_size: 68446064
dataset_size: 68442367
- config_name: Reasoning_situated
features:
- name: image
dtype: image
- name: question
dtype: string
- name: answer
dtype: string
splits:
- name: test
num_bytes: 52522065
num_examples: 50
download_size: 52525750
dataset_size: 52522065
configs:
- config_name: Activity
data_files:
- split: test
path: Activity/test-*
- config_name: Forecasting
data_files:
- split: test
path: Forecasting/test-*
- config_name: Localization_location
data_files:
- split: test
path: Localization_location/test-*
- config_name: Localization_spatial
data_files:
- split: test
path: Localization_spatial/test-*
- config_name: Object_affordance
data_files:
- split: test
path: Object_affordance/test-*
- config_name: Object_attribute
data_files:
- split: test
path: Object_attribute/test-*
- config_name: Object_existence
data_files:
- split: test
path: Object_existence/test-*
- config_name: Planning_assistance
data_files:
- split: test
path: Planning_assistance/test-*
- config_name: Planning_navigation
data_files:
- split: test
path: Planning_navigation/test-*
- config_name: Reasoning_comparing
data_files:
- split: test
path: Reasoning_comparing/test-*
- config_name: Reasoning_counting
data_files:
- split: test
path: Reasoning_counting/test-*
- config_name: Reasoning_situated
data_files:
- split: test
path: Reasoning_situated/test-*
license: apache-2.0
task_categories:
- visual-question-answering
language:
- en
tags:
- First-person
- VLMs
- Egocentric
size_categories:
- n<1K
---

# EgoThink (Can Vision-Language Models Think from a First-Person Perspective?)

[**🌐 Homepage**](https://adacheng.github.io/EgoThink/) | [**🤗 Dataset**](https://huggingface.co/datasets/EgoThink/EgoThink) | [**🤗 Paper**](https://huggingface.co/papers/2311.15596) | [**📖 arXiv**](https://arxiv.org/abs/2311.15596) | [**GitHub**](https://github.com/AdaCheng/EgoThink)

## Contact
- Sijie Cheng: [e-mail]

## Citation

```bibtex
@article{cheng2023can,
title={Can Vision-Language Models Think from a First-Person Perspective?},
author={Cheng, Sijie and Guo, Zhicheng and Wu, Jingwen and Fang, Kechen and Li, Peng and Liu, Huaping and Liu, Yang},
journal={arXiv preprint arXiv:2311.15596},
year={2023}
}
```

dataset_info:
- 配置名称：Activity
特征：
- 名称：image（图像），数据类型：图像
- 名称：question（问题），数据类型：字符串
- 名称：answer（答案），数据类型：字符串
划分集：
- 名称：test（测试集），字节数：131502064，样本数：100
下载大小：131504614 字节
数据集大小：131502064 字节
- 配置名称：Forecasting（预测）
特征：
- 名称：image（图像），数据类型：图像
- 名称：question（问题），数据类型：字符串
- 名称：answer（答案），数据类型：字符串
划分集：
- 名称：test（测试集），字节数：139301212，样本数：100
下载大小：139306138 字节
数据集大小：139301212 字节
- 配置名称：Localization_location（位置定位）
特征：
- 名称：image（图像），数据类型：图像
- 名称：question（问题），数据类型：字符串
- 名称：answer（答案），数据类型：字符串
划分集：
- 名称：test（测试集），字节数：65819364，样本数：50
下载大小：65823441 字节
数据集大小：65819364 字节
- 配置名称：Localization_spatial（空间定位）
特征：
- 名称：image（图像），数据类型：图像
- 名称：question（问题），数据类型：字符串
- 名称：answer（答案），数据类型：字符串
划分集：
- 名称：test（测试集），字节数：72483368，样本数：50
下载大小：72487326 字节
数据集大小：72483368 字节
- 配置名称：Object_affordance（物体可供性，Object affordance）
特征：
- 名称：image（图像），数据类型：图像
- 名称：question（问题），数据类型：字符串
- 名称：answer（答案），数据类型：字符串
划分集：
- 名称：test（测试集），字节数：62217423，样本数：50
下载大小：62219658 字节
数据集大小：62217423 字节
- 配置名称：Object_attribute（对象属性）
特征：
- 名称：image（图像），数据类型：图像
- 名称：question（问题），数据类型：字符串
- 名称：answer（答案），数据类型：字符串
划分集：
- 名称：test（测试集），字节数：62068692，样本数：50
下载大小：62071978 字节
数据集大小：62068692 字节
- 配置名称：Object_existence（对象存在性）
特征：
- 名称：image（图像），数据类型：图像
- 名称：question（问题），数据类型：字符串
- 名称：answer（答案），数据类型：字符串
划分集：
- 名称：test（测试集），字节数：70741543，样本数：50
下载大小：70745667 字节
数据集大小：70741543 字节
- 配置名称：Planning_assistance（规划辅助）
特征：
- 名称：image（图像），数据类型：图像
- 名称：question（问题），数据类型：字符串
- 名称：answer（答案），数据类型：字符串
划分集：
- 名称：test（测试集），字节数：63263412，样本数：50
下载大小：63263987 字节
数据集大小：63263412 字节
- 配置名称：Planning_navigation（规划导航）
特征：
- 名称：image（图像），数据类型：图像
- 名称：question（问题），数据类型：字符串
- 名称：answer（答案），数据类型：字符串
划分集：
- 名称：test（测试集），字节数：57345130，样本数：50
下载大小：57346307 字节
数据集大小：57345130 字节
- 配置名称：Reasoning_comparing（比较推理）
特征：
- 名称：image（图像），数据类型：图像
- 名称：question（问题），数据类型：字符串
- 名称：answer（答案），数据类型：字符串
划分集：
- 名称：test（测试集），字节数：67879362，样本数：50
下载大小：67882224 字节
数据集大小：67879362 字节
- 配置名称：Reasoning_counting（计数推理）
特征：
- 名称：image（图像），数据类型：图像
- 名称：question（问题），数据类型：字符串
- 名称：answer（答案），数据类型：字符串
划分集：
- 名称：test（测试集），字节数：68442367，样本数：50
下载大小：68446064 字节
数据集大小：68442367 字节
- 配置名称：Reasoning_situated（情境推理）
特征：
- 名称：image（图像），数据类型：图像
- 名称：question（问题），数据类型：字符串
- 名称：answer（答案），数据类型：字符串
划分集：
- 名称：test（测试集），字节数：52522065，样本数：50
下载大小：52525750 字节
数据集大小：52522065 字节
configs:
- 配置名称：Activity
数据文件：
- 划分集：test（测试集）
路径：Activity/test-*
- 配置名称：Forecasting
数据文件：
- 划分集：test（测试集）
路径：Forecasting/test-*
- 配置名称：Localization_location
数据文件：
- 划分集：test（测试集）
路径：Localization_location/test-*
- 配置名称：Localization_spatial
数据文件：
- 划分集：test（测试集）
路径：Localization_spatial/test-*
- 配置名称：Object_affordance
数据文件：
- 划分集：test（测试集）
路径：Object_affordance/test-*
- 配置名称：Object_attribute
数据文件：
- 划分集：test（测试集）
路径：Object_attribute/test-*
- 配置名称：Object_existence
数据文件：
- 划分集：test（测试集）
路径：Object_existence/test-*
- 配置名称：Planning_assistance
数据文件：
- 划分集：test（测试集）
路径：Planning_assistance/test-*
- 配置名称：Planning_navigation
数据文件：
- 划分集：test（测试集）
路径：Planning_navigation/test-*
- 配置名称：Reasoning_comparing
数据文件：
- 划分集：test（测试集）
路径：Reasoning_comparing/test-*
- 配置名称：Reasoning_counting
数据文件：
- 划分集：test（测试集）
路径：Reasoning_counting/test-*
- 配置名称：Reasoning_situated
数据文件：
- 划分集：test（测试集）
路径：Reasoning_situated/test-*
许可证：apache-2.0
任务类别：
- 视觉问答（Visual Question Answering, VQA）
语言：
- 英语（en）
标签：
- 第一人称（First-person）
- 视觉语言模型（Vision-Language Models, VLMs）
- 自我中心视角（Egocentric）
样本规模分类：
- n<1K（样本数少于1000）

# EgoThink（视觉语言模型能否以第一人称视角进行思考？）

[**🌐 主页**](https://adacheng.github.io/EgoThink/) | [**🤗 数据集**](https://huggingface.co/datasets/EgoThink/EgoThink) | [**🤗 论文**](https://huggingface.co/papers/2311.15596) | [**📖 arXiv**](https://arxiv.org/abs/2311.15596) | [**GitHub**](https://github.com/AdaCheng/EgoThink)

## 联系方式
- 程思杰：[e-mail]

## 引用

bibtex
@article{cheng2023can,
title={Can Vision-Language Models Think from a First-Person Perspective?},
author={Cheng, Sijie and Guo, Zhicheng and Wu, Jingwen and Fang, Kechen and Li, Peng and Liu, Huaping and Liu, Yang},
journal={arXiv preprint arXiv:2311.15596},
year={2023}
}

原始信息汇总

数据集概述

数据集链接

• Homepage: 数据集主页
• Dataset: Hugging Face 数据集
• Paper: Hugging Face 论文
• arXiv: arXiv 论文预印本
• GitHub: GitHub 代码仓库