arc-agi3-kimi-k2.7-tr87

ARC-AGI-3 tr87 Agent Trajectories（kimi-k2.7）数据集包含来自harness×model对kimi-k2.7在ARC-AGI-3游戏tr87中的智能体轨迹，是ARA（Agent-Native Research Artifact）作为世界模型泛化实验的一部分。该数据集记录了智能体在游戏过程中实时构建结构化世界模型，并利用该模型解决无法通过冷探索完成的关卡。数据集按harness×model×游戏进行组织，每个组合对应一个独立的仓库，便于比较不同harness/model对在相同游戏上的表现。数据在游戏过程中持续同步，每次世界模型的结晶化都会推送至仓库。数据集内容涵盖：智能体的世界模型和推理轨迹（reasoning/ara-tr87/）；每个子智能体的动作-t推理轨迹，每行JSON对应一个动作及其原因（traces/）；状态快照，包括进度、机制、难点和暂存原因，以及每个关卡的获胜动作脚本（solutions/）；每个会话的帧级录制（recordings/）；回合级日志（episodes/）；harness日志和自由格式会话笔记（logs/）；ARC API记分卡（scorecards/）；世界模型预测账本，包含置信度咨询和后续验证（predictions.jsonl）；游戏的账本行、指标部分和ARA增长曲线（accounting/）；消融或展示工件（demo/）；以及索引和清单文件。仓库标签L<n>-cleared标记每个关卡通关时的完整记录，作为下游智能体评估实验的holdout就绪快照。数据集适用于强化学习、游戏玩法、LLM智能体、世界模型等任务，支持对智能体决策过程、审议时间、死亡分析和意外分析的深入研究。

The ARC-AGI-3 tr87 Agent Trajectories (kimi-k2.7) dataset contains game trajectories from the harness×model pair kimi-k2.7 in the ARC-AGI-3 game tr87, as part of the ARA (Agent-Native Research Artifact) for world model generalization experiments. It records the agents real-time construction of a structured world model during gameplay and its use to solve levels that cannot be completed through cold exploration. The dataset is organized by harness×model×game, with each combination corresponding to a separate repository, facilitating comparison of different harness/model pairs on the same game. Data is continuously synchronized during gameplay, with each crystallization of the world model pushed to the repository. Contents include: the agents world model and reasoning trajectories (reasoning/ara-tr87/); action-t reasoning trajectories for each sub-agent, with each line of JSON corresponding to an action and its rationale (traces/); state snapshots, including progress, mechanics, difficulties, and stashing reasons, along with winning action scripts for each level (solutions/); frame-level recordings per session (recordings/); episode-level logs (episodes/); harness logs and free-form session notes (logs/); ARC API scorecards (scorecards/); world model prediction ledgers with confidence consultations and subsequent validations (predictions.jsonl); game ledger rows, metrics sections, and ARA growth curves (accounting/); ablation or demonstration artifacts (demo/); and index and manifest files. Repository tags L<n>-cleared mark complete records at each level clearance, serving as holdout-ready snapshots for downstream agent evaluation experiments. The dataset is suitable for tasks such as reinforcement learning, gameplay, LLM agents, and world models, supporting in-depth research on agent decision-making processes, deliberation time, death analysis, and surprise analysis.

原始信息汇总

数据集名称：ARC-AGI-3 tr87 Agent Trajectories (kimi-k2.7)

数据集简介：本数据集记录了由 kimi-k2.7 模型在 ARC-AGI-3 游戏 tr87 关卡中的智能体行为轨迹。该数据集是“ARA 作为世界模型”泛化实验的一部分，智能体在游戏过程中实时构建结构化世界模型（Agent-Native Research Artifact），并借助该模型解决通过单纯探索无法攻克的关卡。

许可协议：CC-BY-4.0

任务类别：强化学习、其他

语言：英语

标签：arc-agi、arc-agi-3、agent-trajectories、game-playing、llm-agent、world-model

数据集结构：

• reasoning/ara-tr87/：智能体的世界模型及推理轨迹（包含 logic/、trace/、staging/ 子目录）。
• traces/：每个子智能体的动作-推理轨迹，每行 JSON 对应一个动作及其原因。
• solutions/GAME.md：状态快照，包含进度、机制、难点及搁置原因。
• solutions/replay/：各关卡的获胜动作脚本（文件命名为 L<n>.txt）。
• recordings/：帧级别记录，文件格式为 <game>-<hash>.<agent>.<guid>.recording.jsonl。
• episodes/：回合级别的事件日志（跨运行拼接）。
• logs/：框架日志及自由格式会话笔记（Git 历史保留先前会话）。
• scorecards/：ARC API 计分卡（保存时生成）。
• predictions.jsonl：世界模型预测账本，包含咨询记录、置信度及后续判定。
• accounting/：该关卡的账本行（令牌/步数）、指标部分及 ARA 增长曲线。
• demo/：消融/展示工件（若关卡包含）。
• sessions_index.json：每个记录会话的条目（智能体、GUID、帧数、最终状态）。
• manifest.json：来源信息：框架×模型 ID、智能体模型、仓库提交、协议哈希、同步时间。

版本标签：仓库标签 L<n>-cleared 标记每个关卡清除时的完整记录，可用于下游智能体评估实验的快照。智能体决策时间间隔、死亡原因分析及突变分析可从记录和轨迹中推导得出，未单独存储。

搜集汇总

数据集介绍

构建方式

该数据集源自于特定组合harness×model对'kimi-k2.7'在ARC-AGI-3游戏'tr87'中的交互轨迹，隶属于ARA-as-world-model泛化实验的组成部分。在游戏过程中，智能体实时构建结构化的世界模型，即Agent-Native Research Artifact，并据此破解冷启动探索无法解决的关卡。数据在游戏过程中持续同步，每次世界模型结晶化操作均触发数据推送，确保轨迹的完整性与实时性。数据集目录结构严谨，涵盖推理痕迹、动作轨迹、解决方案、帧级录制、回合日志、计分卡及预测记录等多元模块，并以仓库标签标记每次关卡通关的快照，便于下游智能体评估实验的提取与复现。

特点

该数据集的核心特色在于其结构化世界模型与交互轨迹的深度融合。它不仅仅记录智能体的动作序列，更保留了每次动作背后的推理依据以及世界模型的演化过程，为理解智能体的决策机制提供了深层次视角。数据集的层次化组织囊括了从原始帧到抽象推理痕迹的全链路信息，使研究者能够纵向追踪智能体从感知到认知的完整链条。此外，数据集支持以关卡通关为节点的快照标记机制，极大便利了分阶段的智能体评估与对比分析，而延迟分析、死亡取证与意外检测等高级分析均可从记录与痕迹中直接推导，无需额外存储。

使用方法

该数据集主要适用于强化学习、智能体轨迹分析与世界模型构建等研究领域。使用者可通过traces目录下的JSON逐行动作推理痕迹观察智能体每一步行动的语境与动机，结合recordings中的帧级录制重现游戏过程。solutions目录提供的通关动作脚本可直接用于复现智能体的成功策略，而episodes中的回合日志则便于进行宏观行为分析。predictions.jsonl记录了智能体的预测置信度与后续验证结果，适用于评估世界模型的预测准确性。需要注意的是，该数据集按harness×model×game进行组织，同类数据集可通过比较不同harness/model对在相同游戏上的表现进行横向对比研究。

背景与挑战

背景概述

ARC-AGI-3 tr87 Agent Trajectories (kimi-k2.7) 数据集由ARC Prize团队于2024年创建，专注于人工智能通用智能（AGI）评估中的核心挑战——抽象推理与结构化世界模型构建。该数据集记录了基于kimi-k2.7强化学习框架的智能体在ARC-AGI-3游戏tr87中的完整交互轨迹，旨在探索智能体如何在游戏过程中实时构建Agent-Native Research Artifact（ARA）作为结构化世界模型，并依赖该模型解决无法通过冷探索完成的任务。作为ARA作为世界模型泛化实验的一部分，该数据集为研究智能体推理、环境建模与在线学习之间的协同机制提供了高保真度的观测数据，对推动LLM智能体在复杂任务中的自主决策能力具有重要价值。

当前挑战

该数据集面临的核心挑战包括：1) 领域问题层面，ARC-AGI-3任务要求智能体具备从有限交互中抽象出底层规律并泛化至新场景的能力，但现有模型往往难以处理组合爆炸式的规则空间，且无法有效利用历史经验构建可迁移的世界模型；2) 构建过程中，数据采集需同步记录微观动作、推理轨迹与结构化模型更新，确保ARA的每次结晶化（crystallization）都得到完整捕获，这要求低延迟、高保真的数据管线，同时需平衡存储效率与细粒度可重复性；此外，不同智能体-模型组合之间的轨迹比较需标准化协议以消除环境噪声，增加了数据治理的复杂性。

常用场景

经典使用场景

ARC-AGI-3 tr87 Agent Trajectories (kimi-k2.7) 数据集捕捉了智能体在 ARC-AGI-3 游戏 tr87 关卡中的完整交互轨迹，记录了其每一步推理决策与操作路径。该数据集最经典的使用场景是作为智能体世界模型构建与推理能力的评估基准。研究者可借助轨迹数据，剖析智能体在面临复杂、抽象且非确定性游戏环境时，如何通过结构化世界模型（即 Agent-Native Research Artifact）进行即时建模，并在探索与知识检索之间动态切换以攻克关卡。数据集中包含的推理痕迹、世界模型结晶记录以及关卡回溯脚本，为复原智能体决策链、检验其认知架构的鲁棒性提供了珍贵素材。

实际应用

在实际应用中，该数据集的轨迹记录与回放机制可服务于自动化游戏测试与智能体行为调试。开发团队可利用 replay 目录中的关卡级操作脚本（L<n>.txt）重现智能体在特定难度关卡上的解谜过程，识别决策瓶颈或策略盲点。同时，recordings 和 traces 中的细粒度帧级记录与推理痕迹，使得对智能体‘从观察到行动’的延迟分析（deliberation timing）、死亡审计（death forensics）以及意外行为诊断成为可能。该数据集还支持构建智能体协作或对抗环境中的评估管线，例如通过比较不同 harness×model 组合在同一游戏上的轨迹差异，来优选模型架构与推理策略。

衍生相关工作

该数据集催生了一系列衍生研究工作，主要集中在智能体世界模型的可解释性与迁移学习方面。基于轨迹中反复出现的世界模型结晶节点，研究者提出了一种新的‘推理锚点’提取方法，将智能体在关键时刻沉淀的内部模型状态解耦为可重用的推理模块。此外，preditctions.jsonl 中的自信度与验证记录被用于训练小型预测网络，以模拟智能体在不同假设下的行为演化，进而生成对抗性关卡来探测世界模型的脆弱性。另一分支工作则利用 sessions_index.json 中的会话元数据，跨模型比较相同游戏上的决策熵与探索效率，为构建更鲁棒的认知脚手架提供了定量分析工具。