edbeeching/gia-dataset-tokenized-2024-2

该数据集包含多个Atari游戏的配置，每个配置包含了一系列特征，如patches（图像块）、loss_mask（损失掩码）、patch_positions（图像块位置）、input_ids（输入ID）、input_types（输入类型）、local_positions（局部位置）和attention_mask（注意力掩码）。数据集分为训练集和测试集，并提供了每个分割的字节数和样本数。此外，还提供了每个配置的下载大小和数据集大小。This dataset contains configurations for multiple Atari games. Each configuration comprises a suite of features: patches (image patches), loss_mask (loss mask), patch_positions (patch positions), input_ids (input IDs), input_types (input types), local_positions (local positions), and attention_mask (attention mask). The dataset is split into training and test subsets, with the byte size and sample count for each split provided. Furthermore, the download size and total dataset size for each configuration are also available.

原始信息汇总

数据集概述

数据集配置

atari-alien

• 特征:
  • patches: 多层序列，最终类型为 uint8
  • loss_mask: 序列，类型为 bool
  • patch_positions: 多层序列，最终类型为 float64
  • input_ids: 序列，类型为 int32
  • input_types: 序列，类型为 int64
  • local_positions: 序列，类型为 int64
  • attention_mask: 序列，类型为 bool
• 分割:
  • test: 字节数 2427492496, 样本数 1836
• 下载大小: 197411801
• 数据集大小: 2427492496

atari-amidar

• 特征:
  • loss_mask: 序列，类型为 bool
  • local_positions: 序列，类型为 int64
  • patches: 多层序列，最终类型为 uint8
  • patch_positions: 多层序列，最终类型为 float64
  • input_ids: 序列，类型为 int32
  • input_types: 序列，类型为 int64
  • attention_mask: 序列，类型为 bool
• 分割:
  • train: 字节数 23292403388, 样本数 17641
  • test: 字节数 2157941388, 样本数 1637
• 下载大小: 1619960876
• 数据集大小: 25450344776

atari-assault

• 特征:
  • loss_mask: 序列，类型为 bool
  • local_positions: 序列，类型为 int64
  • patches: 多层序列，最终类型为 uint8
  • patch_positions: 多层序列，最终类型为 float64
  • input_ids: 序列，类型为 int32
  • input_types: 序列，类型为 int64
  • attention_mask: 序列，类型为 bool
• 分割:
  • train: 字节数 23077576568, 样本数 17434
  • test: 字节数 1898092400, 样本数 1436
• 下载大小: 760479036
• 数据集大小: 24975668968

atari-asterix

• 特征:
  • local_positions: 序列，类型为 int64
  • patch_positions: 多层序列，最终类型为 float64
  • input_types: 序列，类型为 int64
  • input_ids: 序列，类型为 int32
  • loss_mask: 序列，类型为 bool
  • patches: 多层序列，最终类型为 uint8
  • attention_mask: 序列，类型为 bool
• 分割:
  • train: 字节数 25094377660, 样本数 19161
• 下载大小: 943683526
• 数据集大小: 25094377660

atari-asteroids

• 特征:
  • local_positions: 序列，类型为 int64
  • patch_positions: 多层序列，最终类型为 float64
  • input_types: 序列，类型为 int64
  • input_ids: 序列，类型为 int32
  • loss_mask: 序列，类型为 bool
  • patches: 多层序列，最终类型为 uint8
  • attention_mask: 序列，类型为 bool
• 分割:
  • train: 字节数 22677165856, 样本数 17112
• 下载大小: 807221186
• 数据集大小: 22677165856

atari-atlantis

• 特征:
  • local_positions: 序列，类型为 int64
  • patch_positions: 多层序列，最终类型为 float64
  • input_types: 序列，类型为 int64
  • input_ids: 序列，类型为 int32
  • loss_mask: 序列，类型为 bool
  • patches: 多层序列，最终类型为 uint8
  • attention_mask: 序列，类型为 bool
• 分割:
  • train: 字节数 22825149408, 样本数 17240
• 下载大小: 745609354
• 数据集大小: 22825149408

atari-bankheist

• 特征:
  • input_types: 序列，类型为 int64
  • local_positions: 序列，类型为 int64
  • patch_positions: 多层序列，最终类型为 float64
  • patches: 多层序列，最终类型为 uint8
  • input_ids: 序列，类型为 int32
  • loss_mask: 序列，类型为 bool
  • attention_mask: 序列，类型为 bool
• 分割:
  • train: 字节数 23741888116, 样本数 18043
  • test: 字节数 2701097304, 样本数 2050
• 下载大小: 2847993069
• 数据集大小: 26442985420

atari-battlezone

• 特征:
  • patches: 多层序列，最终类型为 uint8
  • local_positions: 序列，类型为 int64
  • loss_mask: 序列，类型为 bool
  • input_types: 序列，类型为 int64
  • patch_positions: 多层序列，最终类型为 float64
  • input_ids: 序列，类型为 int32
  • attention_mask: 序列，类型为 bool
• 分割:
  • test: 字节数 2683381416, 样本数 2030
• 下载大小: 162167846
• 数据集大小: 2683381416

atari-berzerk

• 特征:
  • patches: 多层序列，最终类型为 uint8
  • loss_mask: 序列，类型为 bool
  • local_positions: 序列，类型为 int64
  • patch_positions: 多层序列，最终类型为 float64
  • input_types: 序列，类型为 int64
  • input_ids: 序列，类型为 int32
  • attention_mask: 序列，类型为 bool
• 分割:
  • test: 字节数 2683232284, 样本数 2025
• 下载大小: 98071291
• 数据集大小: 2683232284

atari-bowling

• 特征:
  • patches: 多层序列，最终类型为 uint8
  • loss_mask: 序列，类型为 bool
  • local_positions: 序列，类型为 int64
  • patch_positions: 多层序列，最终类型为 float64
  • input_types: 序列，类型为 int64
  • input_ids: 序列，类型为 int32
  • attention_mask: 序列，类型为 bool
• 分割:
  • test: 字节数 2638612892, 样本数 2001
• 下载大小: 57099861
• 数据集大小: 2638612892

atari-boxing

• 特征:
  • patches: 多层序列，最终类型为 uint8
  • loss_mask: 序列，类型为 bool
  • local_positions: 序列，类型为 int64
  • patch_positions: 多层序列，最终类型为 float64
  • input_types: 序列，类型为 int64
  • input_ids: 序列，类型为 int32
  • attention_mask: 序列，类型为 bool
• 分割:
  • test: 字节数 2925635312, 样本数 2252
• 下载大小: 154591181
• 数据集大小: 2925635312

atari-breakout

• 特征:
  • loss_mask: 序列，类型为 bool
  • patch_positions: 多层序列，最终类型为 float64
  • patches: 多层序列，最终类型为 uint8
  • input_types: 序列，类型为 int64
  • input_ids: 序列，类型为 int32
  • local_positions: 序列，类型为 int64
  • attention_mask: 序列，类型为 bool
• 分割:
  • train: 字节数 21372025124, 样本数 16135
  • test: 字节数 2843462328, 样本数 2146
• 下载大小: 740521401
• 数据集大小: 24215487452

atari-centipede

• 特征:
  • loss_mask: 序列，类型为 bool
  • patch_positions: 多层序列，最终类型为 float64
  • patches: 多层序列，最终类型为 uint8
  • input_types: 序列，类型为 int64
  • input_ids: 序列，类型为 int32
  • local_positions: 序列，类型为 int64
  • attention_mask: 序列，类型为 bool
• 分割:
  • train: 字节数 24525541956, 样本数 18727
  • test: 字节数 2743854332, 样本数 2097
• 下载大小: 886355860
• 数据集大小: 27269396288

atari-choppercommand

• 特征:
  • loss_mask: 序列，类型为 bool
  • patch_positions: 多层序列，最终类型为 float64
  • patches: 多层序列，最终类型为 uint8
  • input_types: 序列，类型为 int64
  • input_ids: 序列，类型为 int32
  • local_positions: 序列，类型为 int64
  • attention_mask: 序列，类型为 bool
• 分割:
  • train: 字节数 21916144968, 样本数 16598
  • test: 字节数 3130204472, 样本数 2370
• 下载大小: 1120222280
• 数据集大小: 25046349440

atari-crazyclimber

• 特征:
  • input_types: 序列，类型为 int64
  • loss_mask: 序列，类型为 bool
  • patches: 多层序列，最终类型为 uint8
  • patch_positions: 多层序列，最终类型为 float64
  • local_positions: 序列，类型为 int64
  • input_ids: 序列，类型为 int32
  • attention_mask: 序列，类型为 bool
• 分割:
  • test: 字节数 2452295076, 样本数 1855
• 下载大小: 147409815
• 数据集大小: 2452295076

atari-defender

• 特征:
  • input_types: 序列，类型为 int64
  • loss_mask: 序列，类型为 bool
  • patches: 多层序列，最终类型为 uint8
  • patch_positions: 多层序列，最终类型为 float64
  • local_positions: 序列，类型为 int64
  • input_ids: 序列，类型为 int32
  • attention_mask: 序列，类型为 bool
• 分割:
  • test: 字节数 2667101644, 样本数 2013
• 下载大小: 76162534
• 数据集大小: 2667101644

atari-demonattack

• 特征:
  • input_types: 序列，类型为 int64
  • loss_mask: 序列，类型为 bool
  • patches: 多层序列，最终类型为 uint8
  • patch_positions: 多层序列，最终类型为 float64
  • local_positions: 序列，类型为 int64
  • input_ids: 序列，类型为 int32
  • attention_mask: 序列，类型为 bool
• 分割:
  • test: 字节数 2655965584, 样本数 2004
• 下载大小: 71540075
• 数据集大小: 2655965584

atari-doubledunk

• 特征:
  • patches: 多层序列，最终类型为 uint8
  • local_positions: 序列，类型为 int64
  • input_ids: 序列，类型为 int32
  • input_types: 序列，类型为 int64
  • loss_mask: 序列，类型为 bool
  • patch_positions: 多层序列，最终类型为 float64
  • attention_mask: 序列，类型为 bool
• 分割:
  • test: 字节数 2654251456, 样本数 2032
• 下载大小: 140407266
• 数据集大小: 2654251456

atari-fishingderby

• 特征:
  • patches: 多层序列，最终类型为 uint8
  • local_positions: 序列，类型为 int64
  • input_ids: 序列，类型为 int32
  • input_types: 序列，类型为

搜集汇总

数据集介绍

构建方式

在强化学习与序列建模交叉领域，该数据集以Atari 2600游戏环境为背景，通过将游戏帧图像分割为固定大小的图像块（patches），并记录其空间坐标（patch_positions）与局部位置编码（local_positions），构建了结构化的视觉-语言序列。每个样本包含从游戏过程中采样的图像块序列、对应的输入标识符（input_ids）与类型标识（input_types），同时附加损失掩码（loss_mask）与注意力掩码（attention_mask）以支持变长序列处理。数据集覆盖数十款经典Atari游戏，每款游戏独立配置，训练集与测试集规模各异，总样本量达数十万，确保了多样性与统计稳健性。

使用方法

使用该数据集时，可通过HuggingFace Datasets库按游戏名称加载对应配置，例如使用load_dataset('edbeeching/gia-dataset-tokenized-2024-2', 'atari-alien')获取外星人游戏子集。数据以序列形式组织，可直接输入至支持图像块序列的Transformer模型，如ViT或CausalLM架构。训练时需结合loss_mask进行损失计算，利用attention_mask处理变长序列。推荐将patches与patch_positions作为视觉输入，input_ids与input_types作为语言信号，用于多模态预训练或下游强化学习策略的监督微调。

背景与挑战

背景概述

在深度强化学习与多模态智能交汇的前沿，游戏环境作为验证智能体泛化能力的理想试验场，其重要性日益凸显。edbeeching/gia-dataset-tokenized-2024-2数据集由研究团队于2024年创建，旨在为Atari 2600游戏提供大规模、结构化的多模态预训练数据。该数据集覆盖数十种经典游戏配置，如Alien、Breakout、Space Invaders等，每个配置均包含图像块、位置编码、注意力掩码及标记化输入序列，为构建能够理解游戏视觉与逻辑的通用智能体奠定了数据基础。其核心研究问题在于如何通过统一的数据表征，驱动视觉-语言模型在多样化游戏任务中实现零样本或少样本迁移，从而推动通用人工智能在交互式环境中的突破。该数据集的出现，为游戏AI、多模态学习及序列建模领域提供了重要的基准资源，对后续研究具有深远影响。

当前挑战

该数据集面临的核心挑战之一是解决游戏视觉与语义信息的高效融合问题。Atari游戏环境虽视觉复杂度相对有限，但动态场景、稀疏奖励及长程依赖关系要求模型具备强大的时空推理能力，传统图像分类或视频理解方法难以直接迁移。构建过程中，数据集面临大量数据处理难题：不同游戏的分辨率、帧率及动作空间差异显著，需设计统一的图像块提取、位置编码及标记化策略，确保数据格式兼容且无损信息。此外，数据集规模庞大，单个配置的训练样本可达数万条，总数据量超过数十吉字节，存储与读取效率成为瓶颈。注意力掩码与损失掩码的生成需精确对应游戏状态与动作序列，任何标注偏差都会影响模型训练质量。如何平衡数据多样性、规模与质量，同时降低计算与存储开销，是当前亟待突破的技术难点。

常用场景

经典使用场景

在深度强化学习与视觉语言建模的交叉领域，edbeeching/gia-dataset-tokenized-2024-2数据集为研究者提供了基于Atari游戏环境的序列化交互数据。该数据集的核心特色在于将游戏帧分割为视觉块（patches）并配以位置编码和注意力掩码，从而支持对智能体行为序列的端到端建模。经典使用场景包括训练能够理解游戏状态变迁的Transformer模型，通过输入离散化的图像块序列和动作标识，让模型学习从像素到策略的映射关系，为多模态决策智能体的预训练提供标准化的数据基石。

解决学术问题

该数据集有效解决了在缺乏大规模、标准化交互数据条件下，难以训练通用游戏智能体的学术难题。通过提供涵盖数十种Atari游戏、经过token化处理的完整轨迹数据，它使研究者能够系统性地探索视觉表示学习、时序依赖建模以及稀疏奖励环境下的信用分配问题。其深远意义在于打破了传统RL方法对特定环境模拟器的依赖，为离线强化学习、行为克隆以及世界模型构建等方向提供了可复现的基准，推动了从专用游戏AI向通用决策智能的范式演进。

实际应用

在实际应用层面，该数据集所支撑的模型可用于开发具备泛化能力的游戏AI代理，在自动化游戏测试、非玩家角色（NPC）智能升级以及古早游戏的现代重制中发挥关键作用。例如，基于该数据集训练的决策Transformer能够直接输出游戏控制指令，应用于复古游戏平台的自动通关系统。此外，其序列化视觉-动作表示也为机器人领域中的模仿学习提供了参考，使机器人能够从视觉观察序列中习得复杂的操作技能，加速了仿真环境到真实世界的知识迁移。

数据集最近研究

最新研究方向

该数据集聚焦于将经典Atari游戏环境中的视觉观测与决策轨迹转化为结构化的token序列，为基于Transformer架构的通用智能体训练提供标准化数据支撑。前沿研究方向集中在利用大规模预训练范式，通过自回归建模学习游戏内状态转移与动作策略的潜在表征，进而探索跨游戏、跨任务的零样本泛化能力。当前热点事件包括OpenAI等机构发布的游戏基础模型，其训练数据多采用类似的结构化token格式，而本数据集通过细粒度的patch位置编码与注意力掩码设计，为研究视觉-语言统一表征下的决策模型提供了关键基准。该数据集的发布推动了从专用强化学习模型向通用游戏智能体的范式转变，其影响体现在为少样本适应、多任务迁移学习以及环境理解中的因果推理等前沿课题提供了高质量、标准化的训练资源，具有重要的学术与工程实践意义。