arc-agi3-vc33-agent-trajectories

ARC-AGI-3 vc33 Agent Trajectories 是一个开源数据集，专注于记录基于Claude Code驱动的LLM智能体在玩ARC-AGI-3游戏vc33版本时的游戏轨迹。该数据集是ARA-as-world-model泛化实验的一部分，旨在探索智能体如何通过构建和利用结构化世界模型（称为Agent-Native Research Artifact）来提升游戏表现。智能体在实时游戏过程中动态建立世界模型，并在遇到无法仅通过初始探索解决的关卡时参考该模型以破解难题。数据在游戏过程中持续同步，每次世界模型的固化都会更新到数据集中。数据集内容涵盖多个方面：包括智能体的世界模型和推理痕迹（位于reasoning/ara-vc33/目录）、每个子智能体的动作-推理轨迹（每行动作对应一条JSON行并附带理由说明）、解决方案状态快照（记录进度、机制、陷阱和暂停原因）、每关获胜动作脚本、帧级录制文件（每个会话一个文件）、回合级事件日志（跨运行拼接）、工具日志和自由格式会话笔记、ARC API计分卡、世界模型预测账本（记录咨询信心和后续验证）、游戏账目记录（如代币/步骤指标、ARA增长曲线）、演示工件（用于消融或展示），以及会话索引和清单文件（提供数据来源信息，如智能体模型、代码库提交、协议哈希和同步时间）。数据集通过repo标签L<n>-cleared标记每个关卡清除时的完整记录快照，这些快照适用于下游智能体评估实验，作为保持独立的基准。此外，审议时间间隔、死亡分析和惊喜分析等衍生信息可以从录制文件和轨迹中计算得出，无需单独存储。该数据集适用于强化学习、游戏玩法分析、LLM智能体行为研究、世界模型构建与泛化实验等任务，为研究人员提供了详细的智能体决策过程和交互轨迹数据。ARC-AGI-3 vc33 Agent Trajectories is an open-source dataset dedicated to recording the gameplay trajectories of LLM-powered agents (which utilize Claude Code as their file-relay tool) while playing the ARC-AGI-3 game vc33. This dataset is part of the ARA-as-world-model generalization experiments, aiming to explore how agents enhance their gameplay performance by constructing and leveraging structured world models termed Agent-Native Research Artifacts. Agents dynamically build world models during real-time gameplay, and refer to these models to solve puzzles that cannot be resolved solely through initial exploration. The dataset is synchronized in real time during gameplay, with each finalized world model updating the dataset. The dataset encompasses multiple components: the agent's world models and reasoning traces (located in the reasoning/ara-vc33/ directory), action-reasoning trajectories of each sub-agent (each action corresponds to a JSON line with accompanying justifications), solution state snapshots (recording progress, mechanisms, traps, and pause reasons), winning action scripts for each level, frame-level recording files (one file per session), round-level event logs (stitched across multiple runs), tool logs and free-form session notes, ARC API scorecards, world model prediction ledgers (recording consultation confidence and subsequent validation), game accounting records (such as token/step metrics and ARA growth curves), demonstration artifacts (for ablation studies or demonstrations), as well as session indices and manifest files that provide data source information including agent model, codebase commit, protocol hash, and synchronization time. The dataset marks complete record snapshots upon each level clearance via the repo tag L<n>-cleared; these snapshots serve as independent baselines for downstream agent evaluation experiments. Additionally, derivative information such as deliberation time intervals, death analysis, and surprise analysis can be derived from the recording files and trajectories without requiring separate storage. This dataset is applicable to tasks including reinforcement learning, gameplay analysis, LLM agent behavior research, world model construction and generalization experiments, providing researchers with detailed data on agent decision-making processes and interactive trajectories.

原始信息汇总

数据集概述

• 数据集名称: ARC-AGI-3 vc33 — Agent Trajectories
• 许可证: CC-BY-4.0
• 任务类别: 强化学习、其他
• 语言: 英语
• 标签: arc-agi、arc-agi-3、agent-trajectories、game-playing、llm-agent、world-model、claude
• 数据集别名: ARC-AGI-3 vc33 Agent Trajectories

数据集描述

该数据集包含一个LLM智能体（使用Claude Code驱动文件中继框架）在玩ARC-AGI-3游戏vc33时的游戏轨迹。该游戏属于“ARA作为世界模型”泛化实验的一部分。智能体在游戏过程中实时构建结构化世界模型（一种智能体原生研究工件），并在运行过程中参考该模型来攻克通过冷探索无法解决的关卡。该数据集还有一个配套数据集：arc-agi3-ls20-agent-trajectories。

在游戏过程中，数据会持续同步——每次世界模型结晶都会触发数据推送。

数据集布局

reasoning/ara-vc33/ # 智能体的世界模型及推理轨迹（logic/、trace/、staging/） traces/ # 每个子智能体的行为-推理轨迹：每行为一个JSON对象，包含行为及其原因 solutions/GAME.md # 状态快照：进度/机制/陷阱/暂停原因 solutions/replay/ # 每关获胜行为脚本（L<n>.txt） recordings/ # 逐帧记录，每会话一个文件（<game>-<hash>.<agent>.<guid>.recording.jsonl） episodes/ # 回合级剧集日志（跨运行拼接而成） logs/ # 中继框架日志 + 自由格式会话笔记（git历史保留之前的会话） scorecards/ # ARC API得分卡（如有保存） predictions.jsonl # 世界模型预测账本：查询记录（含置信度及后续判定结果） accounting/ # 该游戏的账本行（token/步骤数）、指标部分、ARA增长曲线 demo/ # 消融/展示工件（如有） sessions_index.json # 每个录制会话的条目（智能体、guid、帧数、最终状态） manifest.json # 溯源信息：智能体模型、仓库提交、协议哈希、同步时间

额外说明

• 仓库标签 L<n>-cleared 标记每个关卡通关时的完整记录，可作为下游智能体评估实验的保持就绪快照。
• 推理时机（行为间隔）、死亡原因分析及意外分析可从记录和轨迹中推导得出，未单独存储。

搜集汇总

数据集介绍

构建方式

该数据集收录了大型语言模型智能体（Claude Code驱动文件中继框架）在ARC-AGI-3游戏vc33关卡中的完整交互轨迹。智能体在游戏过程中动态构建结构化世界模型（即智能体原生研究工件），并依赖该模型破解通过冷探索无法解决的谜题。数据在游戏进行时持续同步，每次世界模型结晶化更新均会触发数据推送至仓库。

特点

数据集具备多维度的结构化特征：包含智能体的世界模型与推理轨迹（逻辑层、追踪层、暂存区）、子智能体的逐动作推理记录、关卡通关脚本、帧级录制文件以及回合级日志。特别设置了L<n>-cleared仓库标签，用于标记每个关卡被攻破时的完整记录快照，便于下游智能体评估实验的留出式采样。此外，智能体交互间隙的耗时、死亡分析及意外事件均可从录制文件和追踪记录中推导得出。

使用方法

研究者可通过sessions_index.json索引文件定位特定录制会话，结合traces目录下的逐动作推理记录分析智能体决策过程。predictions.jsonl提供了世界模型预测的完整台账，包含查询时的置信度及后续验证结果。对于需要控制训练/测试分割的实验，可直接引用标记为L<n>-cleared的快照节点。accounting目录下的代币消耗与步骤度量数据支持对智能体推理成本的量化分析。

背景与挑战

背景概述

ARC-AGI-3 vc33 Agent Trajectories数据集由ShokuhouMisak1团队创建，旨在记录大型语言模型智能体（Claude Code驱动的文件中继框架）在ARC-AGI-3游戏环境中的完整决策轨迹。该数据集聚焦于智能体通过构建结构化世界模型（即Agent-Native Research Artifact）解决抽象推理任务的动态过程，是ARA-as-world-model泛化实验的关键组成部分。研究核心在于探索LLM智能体如何实时构建并更新内隐世界模型以破解难以通过冷探索直接解决的关卡，标志着从单纯游戏玩法到认知模型构建的范式转换。该数据集对强化学习、世界模型构建和智能体评估领域具有显著影响力，为分析智能体推理行为、验证模型泛化能力提供了细粒度的同步记录基准。

当前挑战

领域问题挑战集中在智能体需从零开始自主发现并理解ARC-AGI-3游戏隐含的模式规则，而非依赖预定义奖励信号或监督训练，这要求模型具备类人的抽象归纳与因果推理能力。构建过程中面临多重技术难点：实时同步世界模型更新与动作决策的延迟权衡，多粒度数据记录（推理痕迹、动作轨迹、帧级录制）的同步与结构化存储，以及确保跨会话追踪一致性的版本管理。此外，高保真记录智能体在复杂探索与死局分析中的细粒度时序行为，需设计精密的监听框架并控制数据冗余，同时保持对下游实验场景（如消融研究、超时分析）的友好可复现性。

常用场景

经典使用场景

ARC-AGI-3 vc33 Agent Trajectories数据集专为研究智能体在抽象推理任务中的行为轨迹而设计。该数据集捕捉了LLM智能体（如Claude Code驱动文件中继框架）在ARC-AGI-3游戏环境中逐步构建结构化世界模型的过程，记录了从初始探索到成功破解谜题的完整决策路径。经典使用方式包括分析智能体如何通过内部推理与外部环境交互来动态抽象出问题规律，以及评估不同世界模型构建策略对任务完成效率的影响。研究者和开发者可借助该数据集复现智能体的行动序列、推理痕迹和中间状态，从而深入理解智能体在复杂抽象推理任务中的认知机制与行为模式。

解决学术问题

该数据集解决了如何系统化记录和分析LLM智能体在抽象推理任务中世界模型构建过程的核心学术难题。传统研究多关注智能体的最终输出结果，却忽视了其内部推理链条与结构化知识表征的演变。通过提供分粒度的行动推理轨线、实时同步的世界模型结晶过程以及失败案例的详细诊断信息，该数据集使研究者能够首次追踪智能体从混沌探索到策略清晰的全过程。它助力破解智能体如何通过构建外部记忆辅助工具（如Agent-Native Research Artifact）来克服认知瓶颈，为理解人工智能在归纳推理、概念抽象和元认知调控方面的能力提供了珍贵实证基础，推动了世界模型理论在智能体学习领域的深化。

衍生相关工作

该数据集衍生出多项开创性工作，主要集中在智能体基准测试、世界模型建模与元认知学习三条技术路线。基于数据集中提供的关卡关卡清除标记（L<n>-cleared），研究者构建了面向推理能力保持的跨任务泛化评估体系，开创了智能体求解过程中灾难性遗忘现象的定量分析方法。世界模型侧的衍生工作从记录的结晶过程出发，提出了层次化问题分解框架，将智能体内隐的策略直觉显式映射为可复用的操作原语。此外，数据集中的死亡法医数据和意外分析催生了反思式学习范式——智能体通过复盘失败轨迹自动形成反事实推理规则，大幅提升了零样本迁移的成功率。这些工作不仅拓展了数据集本身的学术价值，更深刻影响了神经符号推理、交互式机器学习等交叉领域的研究方向。