GEM-250K
收藏资源简介：
GEM-250K是一个用于具身智能的大规模视觉语言数据集，隶属于GEM（Generative-supervised Embodied vision-language Model）项目。该数据集旨在通过集成生成式监督（特别是深度图生成任务）来增强视觉语言模型在具身环境中的性能，弥合高级语义理解与低级空间物理知识之间的差距。数据集包含约250,800个样本，涵盖三种核心任务类型：时空规划、具身接地和空间推理。数据以两种配置组织：默认配置包括图像、问题、答案和问题类型字段，适用于图像-文本到文本任务；空间推理配置则包含视频、问题、答案和问题类型字段。所有数据均为英文，规模在100万到1,000万样本之间。该数据集支持视觉语言模型和视觉-语言-动作框架的训练与评估，特别适用于机器人技术中的接地、推理和规划等具身智能任务。
GEM-250K is a large-scale vision-language dataset for embodied intelligence, belonging to the GEM (Generative-supervised Embodied vision-language Model) project. This dataset aims to enhance the performance of vision-language models in embodied environments by integrating generative supervision, particularly depth map generation tasks, and bridge the gap between high-level semantic understanding and low-level spatial physical knowledge. The dataset contains approximately 250,800 samples, covering three core task types: spatio-temporal planning, embodied grounding, and spatial reasoning. The data is organized in two configurations: the default configuration includes fields such as image, question, answer, and question type, which is suitable for image-text to text tasks; the spatial reasoning configuration contains video, question, answer, and question type fields. All data is in English, with a scale ranging from 1 million to 10 million samples. This dataset supports the training and evaluation of vision-language models and vision-language-action frameworks, and is particularly suitable for embodied intelligence tasks such as grounding, reasoning, and planning in robotics.
数据集概述
数据集名称：GEM-250K
发布机构：清华大学与腾讯混元
许可证：MIT
语言：英文
目的与应用
GEM-250K 是 GEM（Generative-supervised Embodied vision-language Model） 项目的一部分，旨在通过引入深度图生成任务作为视觉-语言模型预训练的监督信号，弥补标准文本引导预训练范式与具身智能所需低层空间、物理知识之间的鸿沟。该数据集支持具身智能中的语义理解与物理操作能力提升。
数据规模与组成
- 总下载大小：约 2.50 GB
- 总数据集大小：约 2.54 GB
- 样本数量：约 250,800 个（标注为 1M<n<10M 类别）
数据集包含两个配置（config）：
-
default（默认配置）
- 特征：question_type（字符串）、image（图像）、question（字符串）、answer（字符串）
- 子集：
spatiotemporal_planning：49,800 个样本，约 666.69 MBembodied_grounding：100,000 个样本，约 1.87 GB
- 任务类型：图像-文本到文本
-
spatial_reasoning（空间推理配置）
- 特征：video（字符串）、question（字符串）、answer（字符串）、question_type（字符串）
- 子集：
spatial_reasoning：101,000 个样本，约 36.65 MB - 任务类型：图像-文本到文本（注意：特征中视频为字符串路径）
数据内容与任务
- 具身接地（embodied_grounding）：包含图像及对应问题-答案对，用于地面实体与任务理解。
- 时空规划（spatiotemporal_planning）：包含图像及规划类问答，涉及时间与空间推理。
- 空间推理（spatial_reasoning）：以视频路径形式（字符串）提供视频文件，附带空间推理问答。
数据格式
-
文件格式：Parquet
-
目录结构：
GEM-250K/ ├── assets/ │ ├── GEM-demo.mp4 │ ├── overview.png ├── data/ │ ├── embodied_grounding-00000-of-00002.parquet │ ├── embodied_grounding-00001-of-00002.parquet │ ├── spatial_reasoning-00000-of-00001.parquet │ └── spatiotemporal_planning-00000-of-00001.parquet └── README.md
标签与分类
- 任务类别：image-text-to-text
- 标签：hunyuan、vision-language-model、vision-language-action、embodied、Spatial-Intelligence
引用
如需引用该数据集，请参考以下 BibTeX 格式：
@article{zhao2026gem, title={GEM: Generative Supervision Helps Embodied Intelligence}, author={Zhao, Ruowen and Li, Bangguo and Liu, Zuyan and Liang, Yinan and Ye, Junliang and Liu, Fangfu and Wu, Diankun and Wang, Zhengyi and Yu, Xumin and Rao, Yongming and others}, journal={arXiv preprint arXiv:2605.28548}, year={2026} }
