build-small-hackathon/dod-agent-traces

该数据集存储了由“DOD - Deploy or Draw”生成的轻量级代理追踪数据，这是一个为Build Small Hackathon构建的多人UNO风格游戏。追踪数据旨在展示游戏AI部分在实时游戏中的参与情况：- **Nemotron机器人回合**：AI对手接收当前棋盘状态，并选择出牌或抽牌。- **IT Director反应**：LLM根据刚出的牌和当前生产危机生成简短的上下文反应。这些记录不是用于微调模型的训练数据，而是运行时追踪数据，记录了AI代理在游戏循环中的使用方式。数据集包含JSONL格式的追踪记录，每个记录包括唯一ID、时间戳、事件类型、模型信息、状态、输入输出数据以及元数据。事件类型主要分为nemotron_turn（记录Nemotron的游戏决策）和director_reaction（记录IT Director的反应生成），并详细说明了各种可能的状态（如成功应用、回退处理或错误情况）。数据集注重隐私保护，仅包含游戏相关数据，不存储个人敏感信息。This dataset stores lightweight agent tracing data generated by "DOD - Deploy or Draw", a multiplayer UNO-style game built for the Build Small Hackathon. The tracing data aims to demonstrate the participation of game AI components in real-time gameplay: - **Nemotron Bot Turns**: The AI opponent receives the current board state and selects a card to play or draw. - **IT Director Reactions**: The LLM generates brief contextual reactions based on the newly played card and the ongoing production crisis. These records are not training data for model fine-tuning, but runtime tracing data that documents how AI agents are utilized within the game loop. The dataset contains tracing records in JSONL format, with each record including a unique ID, timestamp, event type, model information, state, input-output data, and metadata. The main event types are `nemotron_turn` (recording Nemotron's in-game decision-making) and `director_reaction` (recording the IT Director's reaction generation), with detailed explanations of various possible states such as successful application, fallback processing, or error scenarios. The dataset prioritizes privacy protection, only containing game-related data and not storing any personal sensitive information.

搜集汇总

数据集介绍

构建方式

DOD Agent Traces数据集基于一款名为Deploy or Draw的多人在线UNO风格游戏构建而成，旨在捕捉游戏循环中AI代理的实时运行轨迹。该数据集以JSONL格式存储，每行记录一个独立的代理事件，涵盖Nemotron AI对手的回合决策与IT总监的上下文反应。事件结构包含唯一标识符、时间戳、调用模型、状态信息以及输入输出详情。当LLM调用失败时，系统会启用回退路径并记录错误描述，确保数据集的完整性与鲁棒性。构建过程聚焦于轻量化设计，仅存储游戏逻辑与模型行为相关的最小必要信息，避免冗余数据的干扰。

特点

该数据集的核心特色在于其运行时轨迹的原始性与透明性，并非为模型微调而设计，而是作为AI代理行为的可审计记录。它详细区分了两种关键事件类型：Nemotron回合中模型选择合法卡牌或抽牌的逻辑，以及IT总监针对所出卡牌与生产危机生成动态引文的过程。每种事件均包含清晰的状态枚举，如LLM决策成功、无效卡牌回退或远程调用失败等，直观反映代理在真实游戏环境中的鲁棒性表现。此外，数据集严格排除个人隐私信息，仅保留游戏文本、模型输出及回退摘要，便于后续技术分析与复盘。

使用方法

研究人员可通过加载dod_agent_traces.jsonl文件逐行解析JSON对象，利用事件类型字段筛选特定的代理行为数据。例如，针对nemotron_turn事件，可分析模型在受限规则下的决策模式与失败回退触发条件；针对director_reaction事件，则能评估LLM生成上下文引文的多样性与有效性。结合状态字段的分布统计，开发者能量化不同回退策略的频率，进而优化游戏内AI的稳定性。该数据集无需额外预处理，可直接嵌入日志分析工具或可视化平台，适合快速验证代理系统的实际运行效果。参考配套的源码仓库与博客文档，使用者可还原完整游戏上下文以深化理解。

背景与挑战

背景概述

DOD Agent Traces数据集诞生于2026年Build Small Hackathon，由DEVAIEXP团队构建，旨在记录多人在线UNO风格游戏“Deploy or Draw”（DOD）中AI智能体的实时决策轨迹。该数据集聚焦于两大核心任务：Nemotron机器人（基于NVIDIA-Nemotron-3-Nano-4B-GGUF模型）在游戏状态下的出牌或摸牌决策，以及IT总监角色根据当前牌面和生产危机生成情境反应。这些轻量级运行时日志并非用于模型微调，而是为了在竞技性、协作性交织的游戏环境中，透明化呈现AI代理的推理过程与行为模式。数据集为多智能体交互研究、游戏AI鲁棒性评估以及人机协作场景下的可解释性分析提供了罕见的细粒度实证素材，对理解小模型在实时动态策略游戏中的表现边界具有重要启发性。

当前挑战

该数据集面临的挑战首先来自领域问题层面：游戏AI需在有限计算资源与实时性要求下，处理不完整信息（如对手手牌）、动态环境（生产危机变化）与规则约束（合法出牌）的平衡，尤其小模型易出现无效决策——如选择非法卡牌、有合法选项时仍摸牌或LLM调用失败。这些行为暴露了单一模型在复杂策略空间中的泛化瓶颈与鲁棒性缺陷。在构建过程中，数据集的设计需刻意排除用户隐私数据（如邮箱、API密钥），仅保留游戏状态与模型交互的元信息；同时，为保证轨迹的完整性，还需处理远程LLM调用失败时的降级策略记录（如本地回退规则），并区分由模型错误、规则冲突或系统故障导致的异常状态。此外，如何以紧凑的JSONL结构高效承载多轮游戏、多角色（Nemotron与总监）的异构事件流，并在无需标注的前提下保留足够的因果上下文（如总监历史引语），亦是工程与数据设计上的核心难题。

常用场景

经典使用场景

在智能体行为分析与游戏人工智能领域，该数据集为研究基于大语言模型的游戏智能体行为模式提供了珍贵的记录。每个轨迹样本均包含棋手决策前后的完整状态信息，包括手牌构成、游戏规则约束下的合法动作集合以及实际执行的动作，这使研究者能够系统性地分析模型在结构化规则环境中的推理能力与行为偏差。同时，数据集还记录了语言模型在生成情境反应时的输入输出细节，为研究多模态交互中的语境理解与生成质量提供了扎实的实证基础。这一特性使其成为探究大语言模型在有限状态空间中决策行为的理想基准。

实际应用

在实际产业应用中，该数据集为部署大语言模型驱动的交互系统提供了宝贵的运维参考。游戏开发者可以基于这些轨迹设计更可靠的异常处理机制，特别是在远程服务不可用时实现优雅降级。IT主管反应生成日志中双语引用的成功与失败案例，为多语种客户服务系统的内容生成提供了调优依据。更重要的是，数据集的紧凑设计理念——仅记录关键行为而忽略个人隐私信息——为工业界构建可审计、合规的智能体监控系统树立了典范。这些实践启示对于金融交易、在线教育等对实时性和可靠性有严格要求的领域尤为重要。

衍生相关工作

该数据集催生了多个富有启发的研究方向。基于决策轨迹数据，已有工作探索了利用回退模式图谱改进大语言模型在规则约束下的推理准确性，推动了神经符号方法在游戏智能体中的应用。原始失败案例分析启发了针对性的提示工程优化方案，显著降低了无效动作选择率。此外，情境反应生成轨迹中的多语言质量差异，激发了跨语言情感迁移机制的研究。这些衍生工作不仅丰富了智能体鲁棒性理论，也为大语言模型在工业级交互系统中的应用提供了可落地的技术路径验证，形成了从数据标注到模型优化的完整研究闭环。