arc-agi3-codex-gpt5.5-ls20

ARC-AGI-3 ls20 Agent Trajectories (codex-gpt5.5) 是一个包含游戏轨迹的数据集，记录了 harness×model 对 codex-gpt5.5 玩 ARC-AGI-3 游戏 ls20 的过程。该数据集是 ARA-as-world-model 泛化实验的一部分，旨在研究智能体如何通过实时构建结构化世界模型（称为 Agent-Native Research Artifact）来辅助游戏决策，特别是在无法通过冷探索直接解决的关卡中。数据集内容涵盖智能体的世界模型与推理轨迹、每个子智能体的动作推理痕迹（以 JSON 行格式记录每个动作及其原因）、解决方案状态快照、每关获胜动作脚本、帧级游戏录制、回合级事件日志、操作日志、ARC API 评分卡、世界模型预测分类账、游戏相关的账目统计（如令牌/步骤消耗）、演示工件以及会话索引和清单文件。数据集在游戏过程中持续同步更新，每次世界模型的更新都会推送。仓库标签 L<n>-cleared 提供了每个关卡通关时的完整记录快照，适用于下游智能体评估实验。该数据集适用于强化学习、智能体轨迹分析、游戏玩法研究、世界模型构建和 LLM 智能体评估等任务。

ARC-AGI-3 ls20 Agent Trajectories (codex-gpt5.5) is a dataset containing game trajectories that record the process of harness×model playing the ARC-AGI-3 game ls20 with codex-gpt5.5. This dataset is part of the ARA-as-world-model generalization experiment, aiming to study how agents assist game decision-making by constructing structured world models in real-time (referred to as Agent-Native Research Artifact), especially in levels that cannot be solved directly through cold exploration. The dataset content includes the agents world model and reasoning trajectories, action reasoning traces for each sub-agent (recorded in JSON lines format for each action and its reasons), solution state snapshots, winning action scripts per level, frame-level game recordings, turn-level event logs, operation logs, ARC API scorecards, world model prediction ledgers, game-related account statistics (such as token/step consumption), demonstration artifacts, as well as session indexes and manifest files. The dataset is continuously updated synchronously during gameplay, with each world model update being pushed. The repository tag L<n>-cleared provides complete record snapshots at each level clearance, suitable for downstream agent evaluation experiments. This dataset is applicable for tasks such as reinforcement learning, agent trajectory analysis, gameplay research, world model construction, and LLM agent evaluation.

原始信息汇总

数据集概述：ARC-AGI-3 ls20 — Agent Trajectories (codex-gpt5.5)

该数据集记录了 codex-gpt5.5 模型在玩 ARC-AGI-3 游戏 ls20 时的智能体轨迹，是 ARA-as-world-model 泛化实验的一部分。智能体在游戏过程中动态构建结构化世界模型（Agent-Native Research Artifact），并在无法仅通过冷探索解决关卡时查阅该模型。

• 许可协议：cc-by-4.0
• 任务类别：强化学习、其他
• 语言：英语
• 标签：arc-agi、arc-agi-3、agent-trajectories、game-playing、llm-agent、world-model
• 数据集名称：ARC-AGI-3 ls20 Agent Trajectories (codex-gpt5.5)

数据集结构

数据集根目录包含以下内容：

• reasoning/ara-ls20/：智能体的世界模型及推理轨迹，包含 logic/、trace/、staging/ 子目录。
• traces/：每个子智能体的动作-推理轨迹，每行一个 JSON 格式的动作及其推理依据。
• solutions/GAME.md：状态快照，记录进度、机制、注意事项及暂停原因。
• solutions/replay/：每个获胜关卡的脚本文件（L<n>.txt）。
• recordings/：帧级别的录制文件，每个会话一个文件（格式：<game>-<hash>.<agent>.<guid>.recording.jsonl）。
• episodes/：回合级别的日志（跨运行拼接）。
• logs/：控制台日志及自由格式会话笔记（Git 历史保留之前的会话）。
• scorecards/：ARC API 评分卡（若保存）。
• predictions.jsonl：世界模型预测记录，包含置信度及后续验证结果。
• accounting/：本游戏的账本行（令牌/步骤）、指标章节及 ARA 增长曲线。
• demo/：消融/展示产物（若存在）。
• sessions_index.json：每个录制会话的条目（智能体、GUID、帧数、最终状态）。
• manifest.json：来源信息，包括 harness×model ID、智能体模型、仓库提交、协议哈希、同步时间。

额外说明

• 数据集在游戏过程中持续同步，每次世界模型结晶时都会推送新内容。
• 仓库标签 L<n>-cleared 标记每个关卡清除时的完整记录，可用于下游智能体评估实验的快照。
• 决策时间（动作间隔）、死亡分析及意外分析可从录制文件和轨迹中推导，未单独存储。

搜集汇总

数据集介绍

构建方式

该数据集由名为codex-gpt5.5的智能体模型在ARC-AGI-3游戏的ls20关卡中交互生成，属于ARA作为世界模型泛化实验的一部分。智能体在游戏过程中实时构建结构化的世界模型（即Agent-Native Research Artifact），并借助该模型破解冷探索无法解决的关卡。数据在游戏过程中连续同步记录，每次世界模型结晶化操作均会推送更新至数据仓库。

使用方法

用户可通过HuggingFace仓库直接加载该数据集，其目录结构包含推理轨迹、动作脚本、录制文件及会话索引等子模块。对于每个关卡，使用标签L<n>-cleared标记的版本可作为保留集快照直接用于智能体评估实验。根据README描述，从录制文件和追踪记录中可推导出智能体决策时序、死亡原因及意外分析结果，无需额外存储即可支撑下游研究。

背景与挑战

背景概述

在抽象推理与通用人工智能（AGI）探索的前沿，ARC-AGI（Abstraction and Reasoning Corpus）基准测试自2019年由François Chollet提出以来，一直被视为衡量机器系统化泛化能力的关键指标。该数据集由OpenAI与ARC Prize团队合作构建，聚焦于通过极小样本的视觉-逻辑谜题，考验模型从有限示例中提取核心规则并应用于新情境的能力。ARC-AGI-3作为该基准的第三版演化，进一步强化了对新颖组合与因果推理的挑战，而arc-agi3-codex-gpt5.5-ls20数据集则记录了Codex-GPT-5.5模型在ls20游戏场景下的完整交互轨迹，揭示了大型语言模型在动态构建结构化世界模型（即Agent-Native Research Artifact）过程中的推理行为。这一数据集对于理解神经符号系统在离散空间中的自适应决策机制具有里程碑意义，为下游智能体评估实验提供了关键的可复现基准。

当前挑战

该数据集所应对的核心挑战在于，传统强化学习与监督学习方法在抽象推理任务中常暴露出的系统化泛化短板，尤其是当任务涉及全新规则组合与少量示例时，模型需超越模式匹配而实现因果层面的理解。具体而言，构建过程面临两大障碍：其一，设计能实时构建并更新内部世界模型的智能体架构，要求模型在探索与利用间平衡，并具备灵活的知识结晶机制；其二，采集高质量、低冗余的轨迹数据需应对状态空间爆炸与动作序列非单调性问题，确保记录的动作-推理链既能反映试探性失败，又能保留正确路径上的关键决策点。此外，跨会话的连续性同步、录制文件与推理痕迹的层级化管理，以及实验结果的可复现性，也对数据存储格式与元数据标注提出了精细化的工程挑战。

常用场景

经典使用场景

在人工智能与强化学习的交叉领域，ARC-AGI-3数据集以抽象推理挑战为核心，为评估智能体在未知环境中构建世界模型的能力提供了标准化平台。该数据集聚焦于‘学习如何学习’的元认知过程，经典使用场景包括：要求智能体通过有限交互探索任务规则（如ls20游戏），实时生成结构化推理工件（即Agent-Native Research Artifact），并依据该模型解决先前无法突破的关卡。其轨迹数据完整记录了智能体从冷启动探索到世界模型结晶的每一步决策与反思，为研究层次化推理、在线学习与因果推断等基础问题提供了不可替代的实证基底。

解决学术问题

该数据集精准回应了当前大语言模型智能体研究中的核心困境——如何超越模式匹配，实现可泛化的抽象推理。通过记录codex-gpt5.5在ls20游戏中的完整推理踪迹，它解决了三个关键学术问题：其一，验证了显式世界模型构建能否提升智能体在零样本场景下的问题解决率；其二，提供了协作式代理间推理轨迹的细粒度对比，揭示不同模型架构在溯因推理中的优劣；其三，借助‘死亡取证’与‘意外分析’等功能，使研究者能剥离偶然成功与稳健认知的边界。其意义在于将评估重点从最终得分转向推理过程的质性与鲁棒性，推动可解释、可迁移的通用人工智能理论基础。

实际应用

在实际应用层面，ARC-AGI-3数据集的多模态轨迹设计直接服务于两类关键场景：一是自动化游戏测试与控制，智能体面对全新游戏机制时，可依靠内置世界模型动态调整策略，减少人工编写规则的成本；二是智能教育系统中的适性学习，其分阶段关卡记录为构建学生认知诊断模型提供了模仿与迁移学习的范本。此外，该数据集的‘保留状态快照’机制允许工业界在离线环境下复现智能体的成长曲线，用于评估自动驾驶决策系统或机器人操作策略在未知环境中的鲁棒性，填补了当前基准测试中动态交互过程数据稀缺的空白。

数据集最近研究

最新研究方向

在通用人工智能（AGI）的前沿探索中，ARC-AGI-3基准测试因其对抽象推理与核心知识泛化的极致要求而备受瞩目。该数据集聚焦于通过`codex-gpt5.5`智能体在`ls20`游戏中的交互轨迹，深入研究了智能体如何构建结构化世界模型（即Agent-Native Research Artifact）以在实时游戏中突破冷启动困境。这一方向紧密关联大语言模型作为世界模型的前沿范式，通过记录每一步推理的脉络、置信度与最终决策，为分析智能体的因果推断能力与在线学习机制提供了前所未有的细粒度样本。该数据集的发布，不仅推动了从纯粹模式匹配向真正理解与适应动态环境的评估体系演进，更对构建具备持续自我进化能力的AI系统具有里程碑式的意义。